pcg-mlp / KsanaLLM

Other
286 stars 30 forks source link

是否是不支持Qwen1.5-7B-Chat? #25

Closed dengyingxu closed 3 months ago

dengyingxu commented 3 months ago
image

看log,Qwen1.5-7B-Chat类型是BF16,因此不能使用Qwen1.5-7B-Chat是嘛?

image
dengyingxu commented 3 months ago

我是在910B2C上测试

pcg-mlp commented 3 months ago

当前版本的实现还不支持BF16,会在后面的版本支持。

dengyingxu commented 3 months ago
image

修改qwen的config文件,仍然报相同的错误,请问这是符合预期的嘛?

whitelok commented 3 months ago

目前一念还不支持QWEN系列的模型,初步预计9月会支持上。