模型问题探讨

[XinWangTIM]

1、模型中参数--factor的作用，这个数值的选取跟什么有关，有什么经验 2、自定义数据集会针对特殊日期有一定爆发增长，论文中提到holiday embedding，这个在代码实现上有可参考的地方吗 3、本身多条时序具有相关性，想借助图结构来捕获时序关联作用，但是基于Transformer的衍生模型的自注意力层不能学习到图结构信息，如果想改进informer，有好的方向或是模型可以推荐学习吗？

希望作者可以分享解答一下，十分感谢！

[zhouhaoyi]

你好，

1. 模型中factor是为了根据不同的数据对于long-tail distribution适应程度不一样设置的（一定程度上和信噪比相关）。你可以参考文章中Parameter Sensitivity章节，里面可以看到不是factor越大越好。基本上，噪音越大factor可以越小，噪音越小factor可以稍微设置大一些。

2. 关于holiday，文章中确实是提出了。但是为了在实验中保证公平性，其实没有加入这个设计。否则其他方法其实没有对应设计，难免会导致实验结果有偏误。如果想实现的话，可以类比传统BERT的设计思路，把normal day用一个语义向量表示，然后通过不同节日的语义来进行特殊日期的embedding，这样可以体现节日的关联性。

3. 关于图结构，我们有一个很好的工作。但是还没有刊出，大约应该是8-9月左右，您可以稍候关注我们的进一步工作。另外最近比较有影响力的Graphormer可以关注。

[XinWangTIM]

谢谢，有学习到，期待你们关于图结构的工作分享 关于第2点的设计你们有相关code可供参考吗？

这里还有一个问题想交流，我理解informer针对于周期性的序列都可响应，但是针对于增长趋势明显或者下降趋势性明显的时序数据是怎么响应的呢？还有季节性明显的序列如何响应？

[zhouhaoyi]

code的话，我们目前没有release的计划。

因为我们目标是使用尽量简单和直接的模型来处理时间序列问题；所以没有按照传统的设计模式，把时序输入中的不同类型特征进行拆分捕捉（或响应）。理论上Informer也有能力捕捉增长趋势。但是可以按照TFT、TCN、LSTnet等方式进行针对性设计。