Exceptionally high memory bandwidth

[MingruiZhuang]

我在 RTX 4090 工作站上运行 banchmark 程序，取得了异常高的总线带宽数据：

Pytorch version : 1.14.0a0+44dac51
CUDA version    : 12.0
GPU             : NVIDIA GeForce RTX 4090
Matrix Multiplication:
               n=128   n=512   n=2048   n=8192
torch.float32  1.048  29.653   82.788   86.676
torch.float16  1.304  46.890  167.112  158.596

Memory Bandwidth:
        65536    262144    1048576   4194304
TFLOPS    0.025    0.099     0.324     0.484
GB/s    196.343  792.595  2590.594  3868.374

可以看到显存带宽为 3868 GB/s，而我查到的 4090 理论显存带宽为 1000 GB/s 左右。

而我在 A800 服务器上运行 banchmark 程序的结果是正常的：

Pytorch version : 2.0.0a0+1767026
CUDA version    : 12.1
GPU             : NVIDIA A800 80GB PCIe
Matrix Multiplication:
               n=128   n=512   n=2048   n=8192
torch.float32  0.464  25.947   82.386  105.973
torch.float16  0.343  31.456  192.540  215.333

Memory Bandwidth:
        65536    262144    1048576   4194304
TFLOPS    0.009    0.036     0.143     0.216
GB/s     72.026  288.159  1143.973  1727.486

显存带宽 1727 GB/s 低于理论上限 1935 GB/s

这导致 4090 的显存带宽远高于 A800，在我的实际训练中 4090也取得了更快的训练速度。 请问 4090 这样高的带宽是正常的吗？如果不正常的话有什么可能的原因？

[lhcstation]

我遇到了相同的问题，4090ADOC

Pytorch version : 2.0.1
CUDA version    : 11.8
GPU     : NVIDIA GeForce RTX 4090

Matrix Multiplication:
        n=128   n=512   n=2048  n=8192
torch.float32   0.251   22.135  51.615  50.243
torch.float16   0.278   33.785  158.224 163.479

Memory Bandwidth:
    65536   262144  1048576 4194304
TFLOPS  0.004   0.041   0.165   0.390
GB/s    30.48   327.36  1320.35 3117.19

[Popo-Neko]

Same question:

Pytorch version : 2.3.1+cu121
CUDA version    : 12.1
GPU     : NVIDIA GeForce RTX 4090

Matrix Multiplication:
        n=128   n=512   n=2048  n=8192
torch.float32   0.271   16.075  48.697  52.251
torch.float16   0.255   16.687  165.275 168.725

Memory Bandwidth:
    65536   262144  1048576 4194304    8388608    16777216
TFLOPS  0.006   0.023   0.091   0.375        0.495        0.115
GB/s    46.407  181.009 731.115 2996.519    3956.074    919.237