需要34b-chat-16k 量化版本

01-ai / Yi-1.5

Yi-1.5 is an upgraded version of Yi, delivering stronger performance in coding, math, reasoning, and instruction-following capability.

Apache License 2.0

521 stars 30 forks source link

Open weiminw opened 5 months ago

weiminw commented 5 months ago

感谢你们发布强悍的模型，是否可以发出 awq或者 gptq-int4

Yimi81 commented 5 months ago

好的我会反馈需求。此外，社区已经有相应的版本，你可以测试使用~

zhanghx0905 commented 5 months ago

目前还未找到34b-chat-16k的4bit量化模型，只见过4k上下文版本的量化模型。如果大家发现了量化后的34b-chat-16k模型，能否分享一下？谢谢！

Yimi81 commented 5 months ago

masterwang22327 commented 3 months ago

原始的Yi-1.5-34B-Chat-16K太慢了同样的Qwen1.5-32B 速度快它一倍代码生成能力也烂到爆炸