sugarforever / chat-ollama

ChatOllama is an open source chatbot based on LLMs. It supports a wide range of language models, and knowledge base management.
MIT License
2.55k stars 395 forks source link

能否支持SQL或者CSV、XLSX等格式 #326

Open heimy2000 opened 4 months ago

heimy2000 commented 4 months ago

能否加入类似csv数据,因为我不太会js,我下面有一个建议,我用python写了一个pandas加载csv,并使用langchain加载了csv,将每一行数据导入为键值对的形式,一行数据就是一个 document(类似于 NoSQL),在每个 document 中加入数据源和行号的信息,作为 meta data 的一部分,返回的是一个列表,每个列表元素是一个 document。下面是一个案例

import pandas as pd 
df = pd.read_csv("/content/Reviews.csv", nrows=10)
df.to_csv("review10.csv", index=False)
loader = CSVLoader(file_path="/content/review10.csv")
data = loader.load()
data

这样我就可以拿到一个文档,然后加入embedding

meokey commented 4 months ago

前面 #251 已经有这个request了。

hyzx86 commented 4 months ago

已经支持了,xlsx 转换为csv 问题不大,但是我试了下效果不好 ,有人找出靠谱的 embedding 方式 可以分享下

heimy2000 commented 4 months ago

已经支持了,xlsx 转换为csv 问题不大,但是我试了下效果不好 ,有人找出靠谱的 embedding 方式 可以分享下

我也是做研究的,我的计划是提取行和列去检索,这样效果会好一些(我的是python),但也会出现一些问题

hyzx86 commented 4 months ago

是的 我的测试数据有两种,但是无论哪种都没法直接列出所有符合条件的数据。。要么句4条,要么就7条 估计这玩意儿 不适合直接做数据分析 给它个 表结构 给你写SQL 估计还行

meokey commented 4 months ago

是的 我的测试数据有两种,但是无论哪种都没法直接列出所有符合条件的数据。。要么句4条,要么就7条 估计这玩意儿 不适合直接做数据分析 给它个 表结构 给你写SQL 估计还行

是不是可以参考这个Pandas Dataframe?

hyzx86 commented 4 months ago

是的 我的测试数据有两种,但是无论哪种都没法直接列出所有符合条件的数据。。要么句4条,要么就7条 估计这玩意儿 不适合直接做数据分析 给它个 表结构 给你写SQL 估计还行

是不是可以参考这个Pandas Dataframe?

感谢,我去研究下