search

yuchaoli / KSE

Exploiting Kernel Sparsity and Entropy for Interpretable CNN Compression
47 stars 21 forks source link

Confusion about the practical acceleration #2

Open dsfour opened 5 years ago

dsfour commented 5 years ago

After compressing by KSE, the network is 2D kernels sparse, rather than channels sparse(obtained by the real channel pruning). Therefore, special computation hardware is needed to gain practical acceleration after compressing. Is that right?

yuchaoli commented 5 years ago

Yes, it needs special computation implement to gain acceleration..

Rubick-fafafa commented 5 years ago

请问特殊的计算实现是指什么，特殊的硬件吗还是特殊的框架？

yuchaoli commented 5 years ago

是指特殊的卷积实现，例如depthwise convolution要达到加速效果需要重新实现专门的conv op一样。

txl-hub commented 2 years ago

请问特殊的卷积实现是指论文中的“The convolution operation is split into two parts, 2D convolution and channel fusion (addition).”吗？有相关代码吗？

yuchaoli commented 2 years ago

请问特殊的卷积实现是指论文中的“The convolution operation is split into two parts, 2D convolution and channel fusion (addition).”吗？有相关代码吗？

是指通过我们方法压缩后的卷积，详见utils/utils.py line75.

txl-hub commented 2 years ago

谢谢你的回答！我看了这部分代码，其中的逻辑应该把原始的kernels替换为了聚类后的kernels？这样的话，卷积核的数量没变，卷积计算量应该也不会减小，而且好像代码也没有体现论文中“sharing 2D activation maps”的思想？我用你的方法对openpose网络做了下剪枝, 权重文件的大小有所下降，但推理速度不升反降，而且随着剪枝的层数越多，推理速度越低.......不知道我的理解对不对，烦请指教！

yuchaoli commented 2 years ago

谢谢你的回答！我看了这部分代码，其中的逻辑应该把原始的kernels替换为了聚类后的kernels？这样的话，卷积核的数量没变，卷积计算量应该也不会减小，而且好像代码也没有体现论文中“sharing 2D activation maps”的思想？我用你的方法对openpose网络做了下剪枝, 权重文件的大小有所下降，但推理速度不升反降，而且随着剪枝的层数越多，推理速度越低.......不知道我的理解对不对，烦请指教！

卷积核的数量虽然没有变化，但是实际参与计算的权重数量是变少了。推理速度没下降主要是因为这种计算方式需要专门的底层kernel优化，这块目前还没有专门的实现。

txl-hub commented 2 years ago

明白了，谢谢！

---Original--- From: @.> Date: Fri, May 13, 2022 16:35 PM To: @.>; Cc: @.**@.>; Subject: Re: [yuchaoli/KSE] Confusion about the practical acceleration (#2)

谢谢你的回答！我看了这部分代码，其中的逻辑应该把原始的kernels替换为了聚类后的kernels？这样的话，卷积核的数量没变，卷积计算量应该也不会减小，而且好像代码也没有体现论文中“sharing 2D activation maps”的思想？我用你的方法对openpose网络做了下剪枝, 权重文件的大小有所下降，但推理速度不升反降，而且随着剪枝的层数越多，推理速度越低.......不知道我的理解对不对，烦请指教！

卷积核的数量虽然没有变化，但是实际参与计算的权重数量是变少了。推理速度没下降主要是因为这种计算方式需要专门的底层kernel优化，这块目前还没有专门的实现。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>