search

thuml / Anomaly-Transformer

About Code release for "Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy" (ICLR 2022 Spotlight), https://openreview.net/forum?id=LzQQ89U1qm_
MIT License
763 stars 202 forks source link

源码中计算先验关联的问题 #37

Closed Kaslanarian closed 1 year ago

Kaslanarian commented 1 year ago

你好，请问计算先验关联时，下面的代码的作用是什么？

sigma = torch.sigmoid(sigma * 5) + 1e-5
sigma = torch.pow(3, sigma) - 1

论文中似乎并未提及该操作，还请赐教:smile:

wuhaixu2016 commented 1 year ago

您好，这只是为了便利模型优化，类似于激活函数

rouniuyizu commented 1 year ago

您好，这只是为了便利模型优化，类似于激活函数

能请教下为什么选择这样的类激活函数吗，而不是其他的形式或参数（这里的5和3）？感谢