Closed Connor-Shen closed 10 months ago
我分别在google colab和本地gpu上部署了chatglm2-6b-32k模型, 操作按照readme教程,完全一致。 却发现在colab上部署的模型能回答的问题,在本地部署情况下却回答不出来? prompt和代码都是一样的,我考虑是否因为某些包版本不同导致部署的模型有区别?
No response
1
本地与colab transformer均为4.30.2, torch colab 为2.0.1,本地为2.0.0
Is there an existing issue for this?
Current Behavior
我分别在google colab和本地gpu上部署了chatglm2-6b-32k模型, 操作按照readme教程,完全一致。 却发现在colab上部署的模型能回答的问题,在本地部署情况下却回答不出来? prompt和代码都是一样的,我考虑是否因为某些包版本不同导致部署的模型有区别?
Expected Behavior
No response
Steps To Reproduce
1
Environment
Anything else?
No response