search

Tencent / TurboTransformers

a fast and user-friendly runtime for transformer inference (Bert, Albert, GPT2, Decoders, etc) on CPU and GPU.
Other
1.49k stars 198 forks source link

想问下turbo支持huggingface的bart模型么 #257

Open will-wiki opened 2 years ago

will-wiki commented 2 years ago

目前只看到了bert和decoder的支持demo，不知道对于bart这种encoder-decoder类型的模型是否支持，是两个组件分开调用turbo么

feifeibear commented 2 years ago

Turbo支持过标准的encoder-decoder NMT模型。对于bart的细节我没研究过，我认为方法应该类似。 https://github.com/TurboNLP/Translate-Demo/blob/master/mytranslator.py

will-wiki commented 2 years ago

好的 十分感谢，不过看demo里面只对decoder部分做了处理，是因为encoder只编码一次 这边只对主要耗时的解码器加速吧

feifeibear commented 2 years ago

例子里应该都处理了吧，encoder和bert类似，改起来很简单。