模型合并推理结果不正常

[xxxxuee]

使用了LLaMA HF版本的权重和[llama-panda-zh-coig-7b-delta]做合并，预测的效果比较差。

[SparkJiao]

Hi，之前的合并代码有点问题，不确定是否合并成功，可以拉一下最新的代码再试试。另外我用合并后的代码测试了你的例子，结果放在下面：

确实这个模型在短chat方面表现并不好，原因可能是因为COIG和pre-train的数据还是以任务导向为主，问答和翻译为主。对于第二个例子模型能够给出答案，例子里也测试了是否开启beam search的情况。不过这个题目我本身也不太清楚答案是什么，所以不知道哪个是对的。目前7B的模型能力还是很欠缺，13B训好以后我们会尽快release权重并在更多benchmark上测试。

Thanks!

[jeinlee1991]

@SparkJiao Panda-Instruct-7B, 我遇到类似的推理问题，结果看起来很不正常，举例： 1、[input]: 你是谁

2、[input]: 你采用什么模型 output: 来处理这个问题？ 这个问题可以使用逻辑回归模型来处理。

不知道模型加载有没有问题。如果确定模型无误的话，那么这样的效果难以做chat啊，和belle-llama-7b有明显差距。

[lucasjinreal]

[jeinlee1991]

这个效果看起来正常，方便把推理代码贴出来嘛？

[lucasjinreal]

这个是我们自己的训的模型

[SparkJiao]

@jeinlee1991 前面已经回复过了，COIG微调的模型就是没法Chat，是用来做任务的，我们现在有13B用于Chat的模型，对话效果很不错，可以在Telegram上试用，链接在这里：https://t.me/PandaLLMChat_bot

这里有一些例子可以参考

另外 @lucasjinreal 这位同学 在别人家的Repo下面打自己家的广告不是很好哈 你们可以去社交平台上宣传自己

[lucasjinreal]

@SparkJiao 我既没有列出我模型名字，也没有列出任何相关信息，不存在广告不广告。

另外阿凡达2009年才首次上映啊。（无意冒犯，纠正个事实哈）

[jeinlee1991]

@jeinlee1991 前面已经回复过了，COIG微调的模型就是没法Chat，是用来做任务的，我们现在有13B用于Chat的模型，对话效果很不错，可以在Telegram上试用，链接在这里：https://t.me/PandaLLMChat_bot

这里有一些例子可以参考

另外 @lucasjinreal 这位同学 在别人家的Repo下面打自己家的广告不是很好哈 你们可以去社交平台上宣传自己

后续会开放chat模型下载吗？很期待！

[SparkJiao]

@jeinlee1991 会开放的，现在还在只训练了一半左右，跑完所有数据之后会放出权重。月底之前。

[jeinlee1991]

@jeinlee1991 会开放的，现在还在只训练了一半左右，跑完所有数据之后会放出权重。月底之前。

好的，谢谢！期待……

[SparkJiao]

@jeinlee1991 13B-Chat的权重开放，可以参考README下载。目前只是中间版本。全部训练完成之后会发布新的权重。