Closed arbitraryking closed 4 days ago
csv已经处理好了的,第一列是用户问题,第二列是答案,用glm-4-plus后最后存储的辅助数据与原来的第二列有差异,甚至部分直接跳过了,用qewn-v2-32k就没有问题,文件处理模型是必用吗?
导数据不需要 LLM,只需要 embedding 模型
导数据不需要 LLM,只需要 embedding 模型
我测试了两次,csv文件分别上传到不同的知识库,只有文件处理模型不一样,一次是正常的,另一次加载到知识库里的内容被修改了,不是我原始csv里的数据。导数据不需要 LLM,那这里选择的大模型是做什么的呢。
csv已经处理好了的,第一列是用户问题,第二列是答案,用glm-4-plus后最后存储的辅助数据与原来的第二列有差异,甚至部分直接跳过了,用qewn-v2-32k就没有问题,文件处理模型是必用吗?
QA
例行检查
你的版本
问题描述, 日志截图
fastgpt日志: one-api日志:
复现步骤 1、在本地测试和部署所使用镜像完全相同,测试时全部csv的内容都正常加载了,唯一差别是测试时知识库设置的文件处理模型是qwenv2-32k,部署时使用智谱glm-4-plus,这会有影响吗?但是oneapi日志中没有关于大模型的请求。 2、我删除了一些一直卡在索引中的csv文件,重新上传,会加载一些数据,但是还是有部分在索引中 预期结果
相关截图