需要34b-chat-16k 量化版本

01-ai / Yi-1.5

Yi-1.5 is an upgraded version of Yi, delivering stronger performance in coding, math, reasoning, and instruction-following capability.

Apache License 2.0

355 stars 20 forks source link

Open weiminw opened 1 month ago

weiminw commented 1 month ago

感谢你们发布强悍的模型，是否可以发出 awq或者 gptq-int4

Yimi81 commented 1 month ago

好的我会反馈需求。此外，社区已经有相应的版本，你可以测试使用~

zhanghx0905 commented 3 weeks ago

目前还未找到34b-chat-16k的4bit量化模型，只见过4k上下文版本的量化模型。如果大家发现了量化后的34b-chat-16k模型，能否分享一下？谢谢！

Yimi81 commented 3 weeks ago