datawhalechina / d2l-ai-solutions-manual

《动手学深度学习》习题解答,在线阅读地址如下:
https://datawhalechina.github.io/d2l-ai-solutions-manual/
Other
358 stars 68 forks source link

练习 7.1.4 #44

Open jrryzh opened 12 months ago

jrryzh commented 12 months ago

练习 7.1.4这里应该占用显存和计算量大的都是后面的全连接层 来自gpt3.5的答案: 在AlexNet中,主要占用显存的部分是最后两个隐藏层,它们分别需要计算大小为64004096和40964096的矩阵,这对应于164 MB的内存占用。这两个隐藏层的计算量较大,需要进行81 MFLOPs的计算,这也是计算上的主要开销。

在计算性能方面,最后两个隐藏层需要更多的计算资源,因为它们的参数数量庞大,分别有超过4000万个参数。这导致了81 MFLOPs的计算开销,相对较高。

gudehhh666 commented 10 months ago

确实,此处有部分错误需要勘误: 卷积层以及全连接层的参数内存占用往往取决去他们的参数量: Snipaste_2023-12-27_15-27-04 从含参量也可以看出是全连接层的内存占用更大。