Closed huangzhongzhong closed 1 year ago
发现给一段超长文本txt,比如全本三国演义,似乎是随机选一段加在我的问题前面?这和我自己加的区别是什么呀~ 我把输入文字上限改高了一下,发现4000字就快占满4090的24G显存,请问这正常吗? 感谢大佬的项目,安装很方便。
1.如果你的分句和句向量转换过程有问题,那他可能会随机选,正常情况下他会选择语意接近的段落。可以尝试使用更好的分句方式 2.我的六g,4int大概可以用1000多字,如果你的24G用的这么快,可以尝试进行量化,8int基本没有损失。
很感谢你的回复,原来还会选择语义接近的段落,那就很高级了。我把三国演义的文本换成小王子的,提供的内容就准确了一些,感谢你的开源项目,期待未来的更多更新。
发现给一段超长文本txt,比如全本三国演义,似乎是随机选一段加在我的问题前面?这和我自己加的区别是什么呀~ 我把输入文字上限改高了一下,发现4000字就快占满4090的24G显存,请问这正常吗? 感谢大佬的项目,安装很方便。