search

MrYxJ / calculate-flops.pytorch

The calflops is designed to calculate FLOPs、MACs and Parameters in all various neural networks, such as Linear、 CNN、 RNN、 GCN、Transformer(Bert、LlaMA etc Large Language Model)
https://pypi.org/project/calflops/
MIT License
508 stars 16 forks source link

你好，比如llama这些LLM模型，我看统计的结果好像没有包括attention矩阵的Q@K.T那部分计算量。 #26

Open ywh187 opened 3 months ago

liut89 commented 3 months ago

他的QKV 计算量包含在attention部分里面了

dyhBUPT commented 3 months ago

他的QKV 计算量包含在attention部分里面了

没有吧，感觉他这个库只计算了nn.Module相关的FLOPs，没有考虑直接的乘、加操作。

XKY37 commented 2 months ago

接

请问有什么库可以考虑到直接的乘加操作吗

hyc9 commented 1 month ago

好像直接用torch.nn.MultiheadAttention没有问题，但是自己写的q @ k没有被统计的样子，这是为什么呢？

ChangeFWorld commented 2 weeks ago

+1，确实是这样的，attention的flops完全没有被考虑