Open QKJIN opened 10 months ago
环境:Ubuntu22.04, 64G, Nvidia P4 8G 模型对话:模型chatglm2-6b-int4,可以顺利对话,尽管回答的不是太准确,但是还过得去。 文档对话:存在2个问题 (1)上传的PDF文档,左边预览文档无法显示中文 (2)有些可以对话,有些就会出现GPU内存爆出,奇怪的是我用90页的中文论文进行对话没有爆显存,而用只有2页的英文PDF文章确出现爆显存。这个是怎么回事呢?
环境:Ubuntu22.04, 64G, Nvidia P4 8G 模型对话:模型chatglm2-6b-int4,可以顺利对话,尽管回答的不是太准确,但是还过得去。 文档对话:存在2个问题 (1)上传的PDF文档,左边预览文档无法显示中文 (2)有些可以对话,有些就会出现GPU内存爆出,奇怪的是我用90页的中文论文进行对话没有爆显存,而用只有2页的英文PDF文章确出现爆显存。这个是怎么回事呢?