run_demo.py 为什么没有代码结果输出

THUDM / CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model

https://codegeex.cn

Apache License 2.0

7.6k stars 536 forks source link

Open lonngxiang opened 11 months ago

lonngxiang commented 11 months ago

kouzhao commented 11 months ago

一样

leon0908 commented 10 months ago

请问有解决吗，我也遇到了

qiufengzouma commented 10 months ago

我也遇到这个问题了

lyooyl commented 9 months ago

可能是显卡不支持默认的BF16量化，可以尝试下INT4、INT8的量化设置。或者修改代码加上.half操作。

xd-Nanan commented 8 months ago

我现在进行单卡推理时一切正常，多卡推理时还有这个问题，而且显卡是支持BF16的，或者转换成fp16这些方式都试过，但多卡推理还是没有结果输出。。