移动平均核

[ghost]

作者您好！非常感谢您关于fedformer工作，我有一些MOE模块的疑问想问你，在代码中，哪儿里设置了不同的移动平均核大小呢？

[tianzhou2011]

下面这个函数，https://github.com/DAMO-DI-ML/ICML2022-FEDformer/blob/39f3bffd203518548c0bf3f16a8c1ae112648dfe/layers/Autoformer_EncDec.py#L55

[ghost]

感谢回答！但可能是我提问的方式有问题，我想知道kernel_size这个参数，其列表里的元素是怎么确定的呢？怎么设置的不同的元素呢？

[tianzhou2011]

哦，这个就是手拍的，4,8,24等,没有什么特别的原因具体拍什么值，因为有个 combine，其实差别不大

On Sun, May 21, 2023 at 1:26 PM XueXYboy @.***> wrote:

感谢回答！但可能是我提问的方式有问题，我想知道kernel_size这个参数，其列表里的元素是怎么确定的呢？怎么设置的不同的元素呢？

— Reply to this email directly, view it on GitHub https://github.com/DAMO-DI-ML/ICML2022-FEDformer/issues/7#issuecomment-1556087358, or unsubscribe https://github.com/notifications/unsubscribe-auth/AB3JGO3HODQSFWQW2MX6PETXHGRPHANCNFSM6AAAAAAYJCS76Q . You are receiving this because you commented.Message ID: @.***>

[ghost]

感谢回答！ 我还有最后一个问题，如果在autoformer模型中把MOEDecomp模块替换掉series decomp模块，会对autoformer模型的预测准度有所提升吧，因为在原论文中，我没有看到具体的关于MOE 在autoformer的消融实验结果 但个人比较感兴趣

[tianzhou2011]

这个我们还真没整理，只做了自己fedformer对MOE的消融实验放在文章里，印象中跑过几个单点实验对autoformer 也有提高的，但具体值没有整理记下来。

On Sun, May 21, 2023 at 2:13 PM XueXYboy @.***> wrote:

感谢回答！ 我还有最后一个问题，如果在autoformer模型中把MOEDecomp模块替换掉series decomp模块，会对autoformer模型的预测准度有所提升吧，因为在原论文中，我没有看到具体的关于MOE 在autoformer的消融实验结果 但个人比较感兴趣

— Reply to this email directly, view it on GitHub https://github.com/DAMO-DI-ML/ICML2022-FEDformer/issues/7#issuecomment-1556094142, or unsubscribe https://github.com/notifications/unsubscribe-auth/AB3JGO6L4OIQEIKAO3IKMILXHGW67ANCNFSM6AAAAAAYJCS76Q . You are receiving this because you commented.Message ID: @.***>

[tianzhou2011]

感谢回答！ 我还有最后一个问题，如果在autoformer模型中把MOEDecomp模块替换掉series decomp模块，会对autoformer模型的预测准度有所提升吧，因为在原论文中，我没有看到具体的关于MOE 在autoformer的消融实验结果 但个人比较感兴趣

但要提醒的是，这个模块其实影响训练速度的，会变慢比较多，当时有几个实验来不及做了，为了快点出结果，其实我们都没加这个模块，因为它提升也没特别显著，当时不加它打autoformer的榜都已经够了，不差这2-3个点。

[ghost]

请问为什么手拍kernel_size = [4，8，24]时报错尺寸不匹配，而使用25就可以（25时moving_avg得值）

[ghost]

RuntimeError: The size of tensor a (95) must match the size of tensor b (96) at non-singleton dimension 1报错信息是这样的

[tianzhou2011]

这种padding上去就好，这种错误不是很常见么，尺寸不对应经常有啊==简单问题你先自己捣鼓一下

On Wed, May 24, 2023 at 9:45 PM XueXYboy @.***> wrote:

RuntimeError: The size of tensor a (95) must match the size of tensor b (96) at non-singleton dimension 1报错信息是这样的

— Reply to this email directly, view it on GitHub https://github.com/DAMO-DI-ML/ICML2022-FEDformer/issues/7#issuecomment-1561183794, or unsubscribe https://github.com/notifications/unsubscribe-auth/AB3JGO2JBSGQJ6F2GT6O6U3XHYGI7ANCNFSM6AAAAAAYJCS76Q . You are receiving this because you commented.Message ID: @.***>