search

wxywb / history_rag

841 stars 109 forks source link

想知道怎么转换txt到json #56

Open shawnFuu opened 7 months ago

shawnFuu commented 7 months ago

大佬好，我现在想从头clone你的项目，但是我难在第一步也就是数据导入上了，折腾了两个晚上仍然没有进展 zilliz要求文件是json格式但是你的数据全部是txt格式，想知道你是怎么转换的呢？

我按照官方给的教程运行了一遍，报错为primary_key is null也就是主键为空，以及调用的BulkWiter包报错，某个attribute不存在，不知道出了什么问题？

{BB60A83B-DACA-47ba-8DF0-87FBEBA63A2A}

非常期待你的回复！

wxywb commented 7 months ago

tojson.py里面是什么，此外这个是zilliz pipeline（插入文本），并不是zilliz（插入向量）

shawnFuu commented 6 months ago

谢谢！我也是昨晚弄明白，我一直试图直接在zilliz里面导入文本数据，但是最后发现必须是向量数据，是靠pipeline将文本压缩成向量的。tojson是我按照官方教程里给的数据准备步骤copy的代码，用BulkWriter把文本数据转换成Json格式，显然失败了。