Open ysyx2008 opened 1 year ago
经测试,单卡非量化模式运行也是一样的问题。
硬件环境:Tesla T4 16G * 4
不管改成多少,都只输出很短一节内容,如图所示。
使用4卡部署,启动参数为:python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4
Tesla T4不支持BF16,是否启用了.half()?
不管改成多少,都只输出很短一节内容,如图所示。 使用4卡部署,启动参数为:python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4
Tesla T4不支持BF16,是否启用了.half()?
查看源代码,未启用.half():
刚刚使用int4权重文件,似乎可以正常输出。启动参数如下: python gyzq_demo.py --model-path "THUDM/codegeex2-6b-int4" --n-gpus 4
难道是权重文件的问题?用git ssh方式下载的,不应该有损坏才对。加载过程也无报错。
确认使用int4量化后的权重文件可以正确输出:
hi,我从https://huggingface.co/THUDM/codegeex2-6b-int4/tree/main下载的codegeex2-6b-int4;然后在V100 GPU机器上加载模型,输出结果完全不对,请问这是什么原因?Stanislas0
hi,我从https://huggingface.co/THUDM/codegeex2-6b-int4/tree/main下载的codegeex2-6b-int4;然后在V100 GPU机器上加载模型,输出结果完全不对,请问这是什么原因?Stanislas0
![]()
我的测试也频繁出现此问题,而且无法控制输出,请问有解决嘛?
不管改成多少,都只输出很短一节内容,如图所示。
使用4卡部署,启动参数为:python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4