Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

V100显卡,完全follow说明跑的finetue,会出现乱码。 似乎是8bit的原因。 #44

Closed jzsbioinfo closed 1 year ago

jzsbioinfo commented 1 year ago

image

Facico commented 1 year ago

应该是v100在8bit,同时也可以检查一下相关依赖的 版本的问题。 类似问题见该issue

可以试着不开8bit,只使用fp16

jzsbioinfo commented 1 year ago

难道v100对int8的模型不适配?有没有说具体原因,能给个链接?

Facico commented 1 year ago

我上面给你贴的那个issue链接里面有写