generate 不使用fp16时报错

TsinghuaAI / CPM-1-Generate

Chinese Pre-Trained Language Models (CPM-LM) Version-I

MIT License

1.59k stars 211 forks source link

Closed xiaofei05 closed 3 years ago

xiaofei05 commented 3 years ago

模型finetune时没有使用fp16, 对finetune后的模型使用 ./scripts/generate_text.sh 交互生成正常，但是去掉./scripts/generate_text.sh中的--fp16时报错：

修改generate_examples.py 233行 past_key_values = [x.half() for x in past_key_values] 为 past_key_values = [x for x in past_key_values]

仍然报相同错误。

zzy14 commented 3 years ago

您可以尝试把 generate_examples.py中past_key_values = [x.half() for x in past_key_values] 的half()删除。

xiaofei05 commented 3 years ago

您可以尝试把 generate_examples.py中past_key_values = [x.half() for x in past_key_values] 的half()删除。

如题所说，仍然是相同错误

zzy14 commented 3 years ago

您好，我们更新了一下对应的代码，测试现在是可以跑fp32的，您可以试试看

xiaofei05 commented 3 years ago

好的，现在没有问题了，感谢！