search

baichuan-inc / Baichuan2

A series of large language models developed by Baichuan Intelligent Technology
https://huggingface.co/baichuan-inc
Apache License 2.0
4.08k stars 293 forks source link

sdp_kernel() got an unexpected keyword argument 'enable_mem_efficient' #309

Closed zoe-yyx closed 9 months ago

zoe-yyx commented 9 months ago

您好, 我的环境是torch1.13.1， python3.8 在运行baichuan2-7B-chat 遇到报错 "sdp_kernel() got an unexpected keyword argument 'enable_mem_efficient'" 但是运行baichuan2-13B-chat没有这个问题 报错原因似乎是在Baichuan2系列模型中，为了加快推理速度，使用了Pytorch2.0加入的新功能F.scaled_dot_product_attention，因此模型需要在Pytorch2.0环境下运行

但是为什么同批的模型baichuan2-13B-chat没有这个报错? 由于环境牵连到其他的实验，不修改torch版本有没有办法解决这个问题？ 这个问题有点急🥲 谢谢回答 🙇‍♀️

yzhao07 commented 11 hours ago

Hi, I have the same issue. How did you solve this? Thanks!