能不能开放int4量化权重

Tele-AI / TeleChat2

星辰语义大模型TeleChat2是由中国电信人工智能研究院研发训练的大语言模型，是首个完全国产算力训练并开源的千亿参数模型

135 stars 12 forks source link

Open zhanpengjie opened 1 month ago

zhanpengjie commented 1 month ago

全精度显存要求太高

wkkkkkkkm commented 1 month ago

可以用telechat-12b的量化代码试一下，模型结构是一样的 @zhanpengjie