wenda-LLM / wenda

闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.23k stars 810 forks source link

请问ChatPDF功能和自己复制一段文字进输入框的区别是什么呀,我似乎用的不对 #12

Closed huangzhongzhong closed 1 year ago

huangzhongzhong commented 1 year ago

发现给一段超长文本txt,比如全本三国演义,似乎是随机选一段加在我的问题前面?这和我自己加的区别是什么呀~ 我把输入文字上限改高了一下,发现4000字就快占满4090的24G显存,请问这正常吗? 感谢大佬的项目,安装很方便。

l15y commented 1 year ago

1.如果你的分句和句向量转换过程有问题,那他可能会随机选,正常情况下他会选择语意接近的段落。可以尝试使用更好的分句方式 2.我的六g,4int大概可以用1000多字,如果你的24G用的这么快,可以尝试进行量化,8int基本没有损失。

huangzhongzhong commented 1 year ago

很感谢你的回复,原来还会选择语义接近的段落,那就很高级了。我把三国演义的文本换成小王子的,提供的内容就准确了一些,感谢你的开源项目,期待未来的更多更新。