search

baichuan-inc / Baichuan-13B

A 13B large language model developed by Baichuan Intelligent Technology
https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
Apache License 2.0
2.98k stars 236 forks source link

有时候卡住一直在输出，model.chat一直在等待响应很久，有没有办法快速结束这种超长响应的办法 #182

Open janglichao opened 1 year ago

janglichao commented 1 year ago

有时候卡住一直在输出，model.chat一直在等待响应很久，有没有办法快速结束这种超长响应的办法

myccc456 commented 1 year ago

用量化模型或提高硬件规格吧