[help]请问推理过程中除去模型参数的占用显存，其他部分比如中间矩阵产生的显存占用大约有多大呢？

[zym1599]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

[help]请问推理过程中除去模型参数的占用显存，其他部分，比如中间矩阵产生的显存占用大约有多大呢？就是推理过程中除了固定的模型权重，其他推理计算需要多大的缓存呢？ 谢谢您！

Expected Behavior

No response

Steps To Reproduce

无

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response