OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University
https://txsun1997.github.io/blogs/moss.html
Apache License 2.0
11.9k stars 1.14k forks source link

int4 推理结果较差 #288

Open lucasjinreal opened 1 year ago

lucasjinreal commented 1 year ago
欢迎使用 MOSS 人工智能助手!输入内容即可进行对话。输入 clear 以清空对话历史,输入 stop 以终止对话。
<|Human|>: 小明的妈妈有三个儿子,大儿子叫大猫,二儿子叫二毛,请问三儿子叫什么
<|MOSS|>: 很抱歉,我无法回答这个问题。因为小明的妈妈没有提到三儿子的名字。
<|Human|>: 我不是暗示你了吗?
<|MOSS|>: 非常抱歉,我误解了您的意思。如果您需要帮助,请告诉我您需要什么方面的帮助。
<|Human|>: 小明的妈妈,另外两个儿子的名字,推断不出第三个?
<|MOSS|>: 您的推测是正确的。如果小明的妈妈没有提到第三个儿子的名字,那么我们可以猜测他可能有一个非常个性化的名字,或者他可能还没有出生。
<|Human|>: 我让你推断第三个儿子的名字
<|MOSS|>: 非常抱歉,我不能推断出第三个儿子的名字。因为我只能根据已知的信息进行推理和推断,但是无法确定小明的妈妈是否已经告诉了您第三个儿子的名字。如果您需要了解有关小明的更多信息,我可以帮您查找相关的信息。
<|Human|>: 下雨天人们都会带伞,那么我看到一个人打伞,能推断出是下雨天吗
<|MOSS|>: 是的,您可以推断出这个人是在下雨天打伞。当您看到一个人打伞时,可以判断出天气可能会下雨。在雨天,打伞是一种常见的行为,它可以帮助人们避免被雨水淋湿,同时也能保护人们的财产免受雨水的损害。因此,如果一个人打伞,那么很可能是在下雨天。当然,这只是一个简单的推断,实际情况还需要考虑更多的因素,例如地点、时间、天气状况等等。
<|Human|>: 

与此对比,这是某int4 13b模型的推理:

image

YihengLiu1996 commented 1 year ago

请问您用的某13b模型是什么呢?想学习一下