search

wenda-LLM / wenda

闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.22k stars 809 forks source link

文档对话中遇到的问题 #497

Open QKJIN opened 10 months ago

QKJIN commented 10 months ago

环境：Ubuntu22.04, 64G, Nvidia P4 8G 模型对话：模型chatglm2-6b-int4，可以顺利对话，尽管回答的不是太准确，但是还过得去。 文档对话：存在2个问题 （1）上传的PDF文档，左边预览文档无法显示中文 （2）有些可以对话，有些就会出现GPU内存爆出，奇怪的是我用90页的中文论文进行对话没有爆显存，而用只有2页的英文PDF文章确出现爆显存。这个是怎么回事呢？