clip加速10倍的测试代码是 ./example/python/models/clip_transformers_example.py 吗？我使用这个代码测试，只加速2点几倍

NetEase-FuXi / EET

Easy and Efficient Transformer : Scalable Inference Solution For Large NLP model

Apache License 2.0

261 stars 46 forks source link

clip加速10倍的测试代码是 ./example/python/models/clip_transformers_example.py 吗？我使用这个代码测试，只加速2点几倍 #8

Open jinlingxu06 opened 2 years ago

SidaZh commented 2 years ago

你好，您可以提供一下运行代码的硬件信息，还有torch、transformers的版本信息吗

SidaZh commented 2 years ago

这是在2080ti上的运行结果，你可以参考一下 transformers==4.19.0 torch==1.12.0 此外，将测试代码的using_half参数设置成True使用eet fp16推理可以获得更好的加速效果

jinlingxu06 commented 2 years ago

NVIDIA A100-SXM torch: 1.10.1+cu111 transformers: 4.20.1 cuda：11.1 cudatoolkit：11.3.1 cudnn：8.0.4 Driver Version: 515.48.07 非常感谢您及时回复，以上就是我用的环境信息，您可以提供一下您刚刚这个结果所使用的详细的硬件信息吗

SidaZh commented 2 years ago

NVIDIA A100-SXM torch: 1.10.1+cu111 transformers: 4.20.1 cuda：11.1 cudatoolkit：11.3.1 cudnn：8.0.4 Driver Version: 515.48.07 非常感谢您及时回复，以上就是我用的环境信息，您可以提供一下您刚刚这个结果所使用的详细的硬件信息吗

NVIDIA GeForce RTX 2080 Ti cuda: 11.6 cudnn: 8.3.3 Driver version: 470.82.01

jinlingxu06 commented 2 years ago

好的，非常感谢

SidaZh commented 2 years ago

非常感谢反馈，有任何问题我们随时沟通