search

GzyAftermath / CAT-KD

CVPR 2023, Class Attention Transfer Based Knowledge Distillation
32 stars 3 forks source link

关于cams的生成 #6

Closed wuhuatao123 closed 9 months ago

wuhuatao123 commented 10 months ago

您好，您在论文中提到的是用的最后一个特征图通过1x1卷积来生成cams，但在代码中并没有看到1x1卷积的操作，而是直接将教师和学生模型最后一层特征图送入CAT_loss函数中计算，可以帮我解答一下疑惑吗，谢谢。

GzyAftermath commented 10 months ago

hello，我是直接在网络架构上把fc换成1x1Conv了。所以最后的特征图直接就是cam

获取 Outlook for iOShttps://aka.ms/o0ukef

发件人: wutao @.> 发送时间: Tuesday, November 28, 2023 10:23:30 PM 收件人: GzyAftermath/CAT-KD @.> 抄送: Subscribed @.***> 主题: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6)

您好，您在论文中提到的是用的最后一个特征图通过1x1卷积来生成cams，但在代码中并没有看到1x1卷积的操作，而是直接将教师和学生模型最后一层特征图送入CAT_loss函数中计算，可以帮我解答一下疑惑吗，谢谢。

― Reply to this email directly, view it on GitHubhttps://github.com/GzyAftermath/CAT-KD/issues/6, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AYY4EH4MBI6PQTWGZIPQZZLYGXXWFAVCNFSM6AAAAAA753DNO2VHI2DSMVQWIX3LMV43ASLTON2WKOZSGAYTINJWGAZDSMQ. You are receiving this because you are subscribed to this thread.Message ID: @.***>

juan19941228 commented 9 months ago

您好， 我在运行CAT-KD 在VGG13-MobileNetV2的实验中，教师与学生最后一层的输出通道数不一致（512-160），通过引入1X1卷积对通道维度进行调整，请问您是把最终通道变为512-512 还是 160-160.

GzyAftermath commented 9 months ago

变为分类的类别数量

juan19941228 commented 9 months ago

感谢回复！还想多请教一下是所有的教师-学生对都需要变成类别数量吗。

GzyAftermath commented 9 months ago

是的

juan19941228 commented 9 months ago

好的， 谢谢。

juan19941228 commented 9 months ago

您好， 我自己试了一下，感觉效果不太行，麻烦问一下 方便提供一下具体代码吗

GzyAftermath commented 9 months ago

啥？GitHub 里不就是代码么？

获取 Outlook for iOShttps://aka.ms/o0ukef

发件人: Tong_Li @.> 发送时间: Wednesday, January 24, 2024 8:55:24 AM 收件人: GzyAftermath/CAT-KD @.> 抄送: Ziyao Guo @.>; Comment @.> 主题: Re: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6)

您好， 我自己试了一下，感觉效果不太行，麻烦问一下 方便提供一下具体代码吗

― Reply to this email directly, view it on GitHubhttps://github.com/GzyAftermath/CAT-KD/issues/6#issuecomment-1907166817, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AYY4EH72XM4BLHVRGGFTZTLYQBLXZAVCNFSM6AAAAAA753DNO2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMBXGE3DMOBRG4. You are receiving this because you commented.Message ID: @.***>

juan19941228 commented 9 months ago

但是有的教师学生实验 运行不了 会报错

---- 回复的原邮件 ---- | 发件人 | Ziyao @.> | | 发送日期 | 2024年01月24日 12:29 | | 收件人 | GzyAftermath/CAT-KD @.> | | 抄送人 | Tong_Li @.>, Comment @.> | | 主题 | Re: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6) |

啥？GitHub 里不就是代码么？

获取 Outlook for iOShttps://aka.ms/o0ukef

发件人: Tong_Li @.> 发送时间: Wednesday, January 24, 2024 8:55:24 AM 收件人: GzyAftermath/CAT-KD @.> 抄送: Ziyao Guo @.>; Comment @.> 主题: Re: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6)

您好， 我自己试了一下，感觉效果不太行，麻烦问一下 方便提供一下具体代码吗

― Reply to this email directly, view it on GitHubhttps://github.com/GzyAftermath/CAT-KD/issues/6#issuecomment-1907166817, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AYY4EH72XM4BLHVRGGFTZTLYQBLXZAVCNFSM6AAAAAA753DNO2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMBXGE3DMOBRG4. You are receiving this because you commented.Message ID: @.***>

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

GzyAftermath commented 9 months ago

具体是哪一个呢？我有空了check 一下

获取 Outlook for iOShttps://aka.ms/o0ukef

发件人: Tong_Li @.> 发送时间: Wednesday, January 24, 2024 12:32:40 PM 收件人: GzyAftermath/CAT-KD @.> 抄送: Ziyao Guo @.>; Comment @.> 主题: Re: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6)

但是有的教师学生实验 运行不了 会报错

---- 回复的原邮件 ---- | 发件人 | Ziyao @.> | | 发送日期 | 2024年01月24日 12:29 | | 收件人 | GzyAftermath/CAT-KD @.> | | 抄送人 | Tong_Li @.>, Comment @.> | | 主题 | Re: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6) |

啥？GitHub 里不就是代码么？

获取 Outlook for iOShttps://aka.ms/o0ukef

发件人: Tong_Li @.> 发送时间: Wednesday, January 24, 2024 8:55:24 AM 收件人: GzyAftermath/CAT-KD @.> 抄送: Ziyao Guo @.>; Comment @.> 主题: Re: [GzyAftermath/CAT-KD] 关于cams的生成 (Issue #6)

您好， 我自己试了一下，感觉效果不太行，麻烦问一下 方便提供一下具体代码吗

D Reply to this email directly, view it on GitHubhttps://github.com/GzyAftermath/CAT-KD/issues/6#issuecomment-1907166817, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AYY4EH72XM4BLHVRGGFTZTLYQBLXZAVCNFSM6AAAAAA753DNO2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMBXGE3DMOBRG4. You are receiving this because you commented.Message ID: @.***>

― Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

― Reply to this email directly, view it on GitHubhttps://github.com/GzyAftermath/CAT-KD/issues/6#issuecomment-1907360071, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AYY4EH6TC4LMGUTIADWV2HTYQCFGRAVCNFSM6AAAAAA753DNO2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSMBXGM3DAMBXGE. You are receiving this because you commented.Message ID: @.***>

juan19941228 commented 9 months ago

十分不好意思，是我一个地方设置错了，现在弄明白了，感谢感谢

EifelTing commented 1 month ago

难怪，我也找半天1*1卷积，哈哈