依赖的版本有问题

[XingYu-Zhong]

flash_attn==2.4.2 torch==2.1.0 accelerate==0.28.0 transformers==4.39.2 vllm=0.5.3 这个版本是冲突的vllm=0.5.3要求 vllm 0.5.3 requires tokenizers>=0.19.1 vllm 0.5.3 requires transformers>=4.42.4,

[feather820]

vllm 0.5.3 requires transformers>=4.42.4是为了可以支持gemma 2等模型，这里可以在vllm 0.5.3安装后transformers==4.39.2。是可以运行的。

[XingYu-Zhong]

okk