yukarinoki
commented
1 year ago 性能比較
https://github.com/yukarinoki/flash-attention#h100
- pytorchの3倍程度の性能
- 72% utilization of FLOPS (A100 FP16 = 312 TFLOPS, FlashAttention = 225 TFLOPS)
- 34%程度 utilization of FLOPS (H100 FP16 = 1979 / 2 = 989.5 TFLOPS, FlashAttention = 335 TFLOPS ?)
- we can obtain another 1.5x-2x speedup on H100 GPUs. We leave that to future work
- 2023年7月17日の論文なので、まだできていないか、できているけど公開してないか、できたけど性能がでないのか
以下はH100での性能グラフ
https://arxiv.org/abs/2307.08691