THUDM / CodeGeeX2

CodeGeeX2: A More Powerful Multilingual Code Generation Model
https://codegeex.cn
Apache License 2.0
7.62k stars 532 forks source link

最新版本(2023年7月31日)中,Output参数似乎失效了 #34

Open ysyx2008 opened 1 year ago

ysyx2008 commented 1 year ago

不管改成多少,都只输出很短一节内容,如图所示。

使用4卡部署,启动参数为:python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4

图片

ysyx2008 commented 1 year ago

经测试,单卡非量化模式运行也是一样的问题。

ysyx2008 commented 1 year ago

硬件环境:Tesla T4 16G * 4

Stanislas0 commented 1 year ago

不管改成多少,都只输出很短一节内容,如图所示。

使用4卡部署,启动参数为:python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4

图片

Tesla T4不支持BF16,是否启用了.half()?

ysyx2008 commented 1 year ago

不管改成多少,都只输出很短一节内容,如图所示。 使用4卡部署,启动参数为:python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4 图片

Tesla T4不支持BF16,是否启用了.half()?

查看源代码,未启用.half(): 图片

刚刚使用int4权重文件,似乎可以正常输出。启动参数如下: python gyzq_demo.py --model-path "THUDM/codegeex2-6b-int4" --n-gpus 4

难道是权重文件的问题?用git ssh方式下载的,不应该有损坏才对。加载过程也无报错。

ysyx2008 commented 1 year ago

确认使用int4量化后的权重文件可以正确输出: 图片

ivankxt commented 9 months ago

hi,我从https://huggingface.co/THUDM/codegeex2-6b-int4/tree/main下载的codegeex2-6b-int4;然后在V100 GPU机器上加载模型,输出结果完全不对,请问这是什么原因?Stanislas0

image image

xd-Nanan commented 8 months ago

hi,我从https://huggingface.co/THUDM/codegeex2-6b-int4/tree/main下载的codegeex2-6b-int4;然后在V100 GPU机器上加载模型,输出结果完全不对,请问这是什么原因?Stanislas0

image image

我的测试也频繁出现此问题,而且无法控制输出,请问有解决嘛?