search

Tencent / TurboTransformers

a fast and user-friendly runtime for transformer inference (Bert, Albert, GPT2, Decoders, etc) on CPU and GPU.
Other
1.49k stars 198 forks source link

cuda 11的支持 #216

Closed bigprince97 closed 3 years ago

bigprince97 commented 3 years ago

感谢作者的开源工作，请问一下,turbo transformers支持cuda11吗？我可以正常在2080ti上使用turbo transformer的gpu版本，但是在3090上没法使用，运行会卡很久，3090的cuda版本是11。

feifeibear commented 3 years ago

RTX 2060支持cuda11没问题，换一个gpu之后重新编译了吧？

bigprince97 commented 3 years ago

没有重新编译，直接在3090上拉取的turbo transformer的gpu镜像使用的

feifeibear commented 3 years ago

那你肯定得重新编译呀，硬件架构都不一样，编出来的库肯定没法直接移植。

bigprince97 commented 3 years ago

嗯嗯，我试试，感谢！