Open fredsamhaak opened 1 month ago
pipeline 里的 LLM,对 “huixiangdou 是什么” 的 scoring 没有指令跟随,建议换模型。 locate LLM 里实测 qwen-14B 效果很好 (飞一般的感觉!)
打开 config.ini,阈值调低,如 0.3
BTW, internlm1 和 internlm2 不一样。
如果下载的是 internlm1 ,那肯定不能用。
@tpoisonooo 谢谢大佬~
感谢大佬的建议,用Qwen/Qwen1.5-14B-Chat做了测试,不过只有一张4090,确实OOM了。准备测试更小的模型,不知道您有什么建议?感谢~
另,本地下载的是internlm/internlm2-chat-7b
“开发机没这问题“ : 不知,可能是 torch 版本 / GPU 数值差异。
4090 试试 qwen 7B fp16 或者 qwen 14B int8 吧。
好的,谢谢大佬~ 不知道在实际商用(比如某个垂域使用)时,大佬根据您过往的经验,qwen 7B fp16 或者 qwen 14B int8 是不是也ok够用了?再次感谢~
好的,谢谢大佬~ 不知道在实际商用(比如某个垂域使用)时,大佬根据您过往的经验,qwen 7B fp16 或者 qwen 14B int8 是不是也ok够用了?再次感谢~
一分钱一分货啊老板。 丰俭由人, qwen 14B fp16 吧。
嗯嗯好的,看来还是要上到14B fp16啊~感谢!
detail | 详细描述 | 詳細な説明
您好,我在跑python3 -m huixiangdou.main --standalone时,碰到如下报错:
说明:
希望能收到回复,万分感谢!
祝好!