wtysos11
commented
3 years ago 论文阅读
Attention is all you need
Transformer架构原文。
基于Encoder-Decoder的改进完成的简单网络架构。
3 Model Architecture
3.1 Encoder and Decoder Stacks
Encoder部分，由6个独立的层组成，每一个层由两个子层组成。第一个子层是包含multi-head self-attention的机制，第二个子层使用简单的全连接层。使用跳层连接和层内正则化的技术，这样每层的输出为LayerNorm(x+Sublayer(x))，其中Sublayer(x)为使用子层实现的结果。
所有的子层，包括压缩层，其输出数据的维数为512.
Decoder部分，同样由6个独立层组成。除了Encoder部分包含的两个子层之外，还有第三个子层Masked multi-head attention。同样采用了layer normalization与sub-layers。
Decoder部分的第一个multi-head attention做了一些修改，避免取得非法的位置（因为未来的信息理论上应该是不知道的，我是这样理解的）。即对于Decoder的信息，每一个循环应该只能多拿到一个位置的信息。
3.2 Attention
attention函数可以被描述为将一个query和一个key-value对的集合映射到一个输出上，且这些全部都是向量。
输出结果为value的加权平均值，其权重根据query与对应key的关系计算。
3.2.1 Scaled Dot-Product Attention
这是作者称呼其内部实现的attention机制的名称。输入包含d_k维度的query和key向量，以及d_v维度的value。通过点积来计算query和key，并进行正则化+softmax来得到每一个value的权重。
在实践中，所有的query是同步计算的。我们会将所有query vector整合成一个矩阵Q，同样把所有的key和value整合成对应的矩阵K和V。然后按照上一段所说，计算出矩阵的输出。
目前（2017年）最常用的两种注意力机制计算函数是additive attention和dot-product attention。我们只使用了点乘注意力函数，除了加上一个缩放系数。加性注意力机制使用前向神经网络来计算compatibiblity function。这两种在时间复杂度上类似，但是点乘注意力机制更加快速，而且实践中空间有效性会更高，因为它大量使用了快速的矩阵优化代码。
然而，在d_k的数值比较小的时候，加性注意力机制表现更好， 因为它不用进行最终计算结果的放缩。进行放缩的原因是因为在d_k的数值特别大的时候，它很可能会使得softmax函数超出区域，使得梯度消失，因此需要对其进行一定的放缩来保证梯度的值足够大，保证算法的收敛速度。
3.2.2 Multi-head attention
在使用单一的注意力函数之外，我们发现将query、key和value分别重复h次进行线性映射后再进行线性映射是更有效的。在每一个进行过线性映射之后的query、key和value上我们并行地执行attention function，产生输出，并进行拼接。最终将所有的拼接值进行线性映射。
multi-head attention允许模型将不同子空间在不同位置的不同表示信息连接起来。通过一个single attention head来完成最终的线性映射。
3.2.3 Applications of attention in our model
Transformer在三种不同的方式中使用Multi-head attention
- 在encoder-decoder attention层中使用，见图。这允许decoder中的每一个位置能够访问到对应输入空间的每一个位置。这模拟了经典的Encoder-Decoder模型。
- Encoder内部的attention，使得每一个位置能够访问到前面所有层。
- 同样，decoder中的attention也能使得每一个位置访问到前面的所有层。
3.3 Position-wise Feed-Forward Networks
除了注意力子层之外，每一层还包含了一个全连接层。这个全连接层由两个线性组合加上一个ReLU激活函数。
$FFN(x) = max(0,xW_1+b_1)W_2+b_2$
线性组合在不同的位置上表现的是一样的，但是在不同的层中使用的是不同的参数。另一种描述这个的形式是使用kernel size为1的两个卷积函数，输入和输出的维数均为512。
3.4 Embeddings and softmax
我们使用了学习到的线性组合和softmax函数来转换decoder的输出，用来预测下一个token的概率。在我们的模型中，两个embedding层中的矩阵权重和pre-softmax线性转换的权重是相同的。
3.5 Positional Encoding
由于我们的模型中是没有包含任何卷积与循环结构，因此为了让我们的模型更好地利用序列的顺序信息，我们必须将一些关于相对位置或者绝对位置的信息注入到序列中。
因此，在输入数据的时候，Encoder和Decoder都会对其进行处理。positional encoding与embedding的输出数据维数是相同的，因此直接将两者相加即可完成。
positional encoding的方式有很多，在本文中使用不同频率的sin和cos函数进行，具体略过。使用dimension信息决定采用哪个频率的函数，使用pos信息决定采用函数的哪一个点。
我不太清楚具体的实现，但这个值取得是很大的，我觉得应该是单调的。
参考资料：
关于Attention的不错资料The Illustrated Transformer
Transformer的改进：
在学习过程中的一个突发奇想，dot-product attention的思想本质上是加权平均和，将不同的输入值与中间的某个值对应。那收到N-BEATS的启发，我能不能直接用傅里叶级数的方式实现中间这个注意力。就是说，将注意力的方向从时域转为频域。
想了很久，不转频域也不行。如果不转频域的话时域感觉没什么想法。问题是频域该怎么做，我最原始的想法就是用深度残差网络来做，低频高权值、高频低权值，然后去拟合起来。或者把频域特征与注意力机制结合起来（这怎么结合？可能要从底层考虑了）
目标上肯定只能放在抗干扰上，着重强调网络环境的复杂性或者新闻特性。但说实话很多网络流量本身也没有周期性，也很难进行预测。或者说深度残差做叠加，叠加最底层用Transformer拟合残差，中间叠加块用AR形式的傅里叶或者小波变换。测试数据集可以选择用wiki产生的网络流量数据（都挺可怕的）、以及时间序列异常检测中用到的数据。
开脑洞材料：
复现：
一些技巧：
频域资料
paper: