search

NetEase-FuXi / EET

Easy and Efficient Transformer : Scalable Inference Solution For Large NLP model
Apache License 2.0
261 stars 46 forks source link

如果用EET推理，CLIP是不是就没有梯度信息了？(Can't compute gradient for clip during inference) #6

Open Dango233 opened 2 years ago

dingjingzhen commented 2 years ago

是的，EET是只针对推理做加速的，所以是没有梯度信息的。另外EET对于clip的加速效果还是不错的，相对transformers在3090上有十倍以上的性能提升。你可以用于训练好的模型在线上推理时做加速使用