search

bojone / NBCE

Naive Bayes-based Context Extension
311 stars 22 forks source link

必须 用https://openbuddy.ai/的模型吗？ #1

Open TianWuYuJiangHenShou opened 1 year ago

TianWuYuJiangHenShou commented 1 year ago

用了hf的llama 13B做了测试，发现推理结果跟原来input 数量对不上，并且回答的内容也只跟input[0]相关。 如果跟模型强绑定的话，这个方案就没有那么好的可迁移性了

bojone commented 1 year ago

很明显，算法和代码上都没有任何跟模型绑定的迹象，群里也有朋友用自己的2.7b模型在测试的。

出现这种问题时，可以尝试调调几个超参数，修改一下promt，或者思考一下是否有可能模型本身的效果就不大行（llama-13b是meta放出的原始版本？它在中文上的效果应该不行吧？）

GUORUIWANG commented 1 year ago

在chatglm6b我发现也报错了，作者能否提供多个模型的demo，想学习下具体改动的地方是什么

bojone commented 1 year ago

在chatglm6b我发现也报错了，作者能否提供多个模型的demo，想学习下具体改动的地方是什么

报错是什么错误？报错的话跟提问者的情况不一样吧

GUORUIWANG commented 1 year ago

在chatglm6b我发现也报错了，作者能否提供多个模型的demo，想学习下具体改动的地方是什么

报错是什么错误？报错的话跟提问者的情况不一样吧

attention_mask和期望的维度不一致，作者可以试试

LebronXierunfeng commented 1 year ago

在chatglm6b我发现也报错了，作者能否提供多个模型的demo，想学习下具体改动的地方是什么

报错是什么错误？报错的话跟提问者的情况不一样吧

attention_mask和期望的维度不一致，作者可以试试

the same problem

GioGioBond commented 1 year ago

6b的问题我有解决，兄弟们可以看一看，博主的方法还是管用的，主要是attention_mask和softmax为0两个问题

bojone commented 1 year ago

在chatglm6b我发现也报错了，作者能否提供多个模型的demo，想学习下具体改动的地方是什么

报错是什么错误？报错的话跟提问者的情况不一样吧

attention_mask和期望的维度不一致，作者可以试试

ChatGLM我不熟，可以参考@GIOGIOv587 的解决方案：https://github.com/GIOGIOv587/NBCEonChatGLM6b

wplschool commented 1 year ago

使用llama-7b，前面的回答都正常，但是后面就会重复一些车轱辘话，直到生成1000个。这是什么问题