文档对话（实时知识库，类似chatpdf），回答不断重复，有种batch并行的感觉

[xubinxinant]

上传了一篇pdf文档，分析完成后提问问题，答案如下： 上述网络的主要特点是：⻆1)网络结构采用了卷积层和池化层，在每一层中都有多个卷积核和池化核。⻆2)网络中的每一层都有一个专门的dropout层，用于防止过拟合。⻆3)YOLOv2使用了一种新的网络结构，即“anchor box”（预测框）。⻆4)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆5)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆6)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆7)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆8)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆9)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆10)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆11)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆12)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆13)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆14)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆15)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆16)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆17)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆18)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆19)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆20)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆21)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆22)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆23)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆24)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆25)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆26)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆27)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆28)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆29)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆30)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆31)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆32)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆33)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆34)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆35)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆36)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆37)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆38)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆39)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆40)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆41)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆42)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆43)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆44)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆45)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆46)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆47)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆48)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆49)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆50)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆51)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆52)预测框的大小是固定的，而不是随着图片大小的变化而变化。⻆53)预测框的大小是固定的，而不是随着图片大小的变化而变化。

[xubinxinant]

普通的知识库回答也会出现这个问题，但是没有实时知识库这么明显

[xubinxinant]

平台：window11 64bit cuda：11.8 python：3.10 显卡：4090 模型：RWKV-4-Raven-7B-v12-Eng49%-Chn49%-Jpn1%-Other1%-20230530-ctx8192.pth UI：AlanLee‘s WebUI - 文档对话

[l15y]

模型问题。Raven很旧了，用world

[xubinxinant]

更新进展： 4090卡，更换chatglm2-6b fp16.（加载模型后占用约15GB） 文档大小14m pdf。50页（对话占用21.5GB，可以正常对话，max token拉到10000以上，防止不出结果）

[xubinxinant]

模型问题。Raven很旧了，用world

谢谢回复，已经更换模型解决，人工看来下效果非常不错，超过预期