labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://fastgpt.in
Other
16.94k stars 4.53k forks source link

如何迁移知识库的部分数据以及对应的向量数据 #2327

Open bobooboboo opened 1 month ago

bobooboboo commented 1 month ago

例行检查

你的版本

问题描述, 日志截图 假设我在A服务器上的FastGPT中有知识库K1、K2、K3,并且都已完成训练,数据向量化完成。向量库用的milvus 1.如果想将指定的知识库Kn(甚至是知识库Kn中的部分数据)以及对应的向量数据迁移到B服务器上的FastGPT中该如何操作。 2.如果A服务器的FastGPT知识库部分数据有修改或者删除该如何同步到B服务器的FastGPT

文档中提供的迁移方案为整体数据迁移,达不到预期效果 并且mongo中dataset_datas -> indexes -> dataId,按照文档的意思为向量的id,但是我通过可视化界面(attu)以及milvus-cli等相关工具捋不清mongo中的数据和向量库中的数据是如何关联的。 复现步骤

预期结果

相关截图

zaite commented 1 month ago

迁移好像只能通过导出导入在重新生成向量索引,部分同步这个你可以研究下知识库的api,统一通过第三方接口操作api实现,看看这样可不可行