Open TianWuYuJiangHenShou opened 1 year ago
很明显,算法和代码上都没有任何跟模型绑定的迹象,群里也有朋友用自己的2.7b模型在测试的。
出现这种问题时,可以尝试调调几个超参数,修改一下promt,或者思考一下是否有可能模型本身的效果就不大行(llama-13b是meta放出的原始版本?它在中文上的效果应该不行吧?)
在chatglm6b我发现也报错了,作者能否提供多个模型的demo,想学习下具体改动的地方是什么
在chatglm6b我发现也报错了,作者能否提供多个模型的demo,想学习下具体改动的地方是什么
报错是什么错误?报错的话跟提问者的情况不一样吧
在chatglm6b我发现也报错了,作者能否提供多个模型的demo,想学习下具体改动的地方是什么
报错是什么错误?报错的话跟提问者的情况不一样吧
attention_mask和期望的维度不一致,作者可以试试
在chatglm6b我发现也报错了,作者能否提供多个模型的demo,想学习下具体改动的地方是什么
报错是什么错误?报错的话跟提问者的情况不一样吧
attention_mask和期望的维度不一致,作者可以试试
the same problem
6b的问题我有解决,兄弟们可以看一看,博主的方法还是管用的,主要是attention_mask和softmax为0两个问题
在chatglm6b我发现也报错了,作者能否提供多个模型的demo,想学习下具体改动的地方是什么
报错是什么错误?报错的话跟提问者的情况不一样吧
attention_mask和期望的维度不一致,作者可以试试
ChatGLM我不熟,可以参考@GIOGIOv587 的解决方案:https://github.com/GIOGIOv587/NBCEonChatGLM6b
使用llama-7b,前面的回答都正常,但是后面就会重复一些车轱辘话,直到生成1000个。这是什么问题
用了hf的llama 13B做了测试,发现推理结果跟原来input 数量对不上,并且回答的内容也只跟input[0]相关。 如果跟模型强绑定的话,这个方案就没有那么好的可迁移性了