模型部署依赖哪些包，为什么在不同平台部署性能不一致

[Connor-Shen]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

我分别在google colab和本地gpu上部署了chatglm2-6b-32k模型， 操作按照readme教程，完全一致。 却发现在colab上部署的模型能回答的问题，在本地部署情况下却回答不出来？ prompt和代码都是一样的，我考虑是否因为某些包版本不同导致部署的模型有区别？

Expected Behavior

No response

Steps To Reproduce

1

Environment

本地与colab transformer均为4.30.2，
torch colab 为2.0.1，本地为2.0.0

Anything else?

No response