Open xd-Nanan opened 7 months ago
您好,我在测试此源码的时候遇到几个问题,测试选用codegeex2-6b模型权重,没有量化,3090单卡推理,修改了模型加载.half精度,但在代码输出上有以下几种现象: 1.output输出会重复输入prompt: 2.output输出代码为空,且有多个空行: 3.增大输出序列长度后,即output sequence length的值,当输入要求使用python输入时,在输出中生成python的代码之后,会接连再生成其它语言的代码,例如C++、Java等语言的代码,不知道有没有其他参数可以控制这种情况
盼复!
伪开源,什么回应都没有,现在连主页的语句都无法执行了
您好,我在测试此源码的时候遇到几个问题,测试选用codegeex2-6b模型权重,没有量化,3090单卡推理,修改了模型加载.half精度,但在代码输出上有以下几种现象: 1.output输出会重复输入prompt:
2.output输出代码为空,且有多个空行:
3.增大输出序列长度后,即output sequence length的值,当输入要求使用python输入时,在输出中生成python的代码之后,会接连再生成其它语言的代码,例如C++、Java等语言的代码,不知道有没有其他参数可以控制这种情况
盼复!