daedae-cc
commented
3 years ago word vectors：句子中的词语对应的依次(从上到下)排列的矩阵，假设句子有 $n$ 个词，vector 的维数为 $k$，那么这个矩阵就是 $n \times k$ 的。这个矩阵的类型既可以是 static，也可以是 non-static 的。
static：word vectors 是固定不变的。
non-static：在模型训练过程中，word vectors 也当做是可优化的参数，通常把反向误差传播导致 word vectors 中值发生变化的这一过程称为 fine-tuning。
$\text{1-of-V}$ encoding：每一个词用一个向量表示，向量的维度就是所有可能的词的数量，假如有10万个，那 $\text{1-of-V}$ encoding的维度就是十万维。每一个词，对应其中一维。用这种方式描述一个词，这个描述向量信息不丰富，不同词的词向量都是不同的，那就没办法知道词与词之间的关系。
模型训练和调参
- Rectified linear units(ReLU)；
- 滤波器的 h 大小：$3, 4, 5$；对应的 Feature Map 的数量为 $100$；
- Dropout率为 $0.5$，$L2$ 正则化限制权值大小不超过 $3$；
- mini-batch 的大小为 $50$；
这些参数的选择都是基于 SST-2 dev 数据集，通过网格搜索方法(Grid Search)得到的最优参数。另外，训练过程中采用随机梯度下降方法，基于 shuffled mini-batches 之上的，使用了 Adadelta update rule
四个模型
- CNN-rand: 所有的 word vectors 都是随机初始化的，同时当做训练过程中优化的参数；
- CNN-static: 所有的 word vectors 直接使用无监督学习即 Google 的 $word2vec$ 工具(CBOW模型)得到的结果，并且是固定不变的；
- CNN-non-static: 所有的 word vector 直接使用无监督学习即 Google 的 $word2vec$ 工具(CBOW模型)得到的结果，但是会在训练过程中被 fine-tuning；
- CNN-multichannel: CNN-static 和 CNN-non-static 的混合版本，即两种类型的输入；
结论
- CNN-static 较于 CNN-rand 好，说明 pre-training 的 word vector 确实有较大的提升作用；
- CNN-non-static 较于 CNN-static 大部分要好，说明适当的 fine-tuning 也是有利的，是因为使得 vectors 更加贴近于具体的任务；
- CNN-multichannel 较于 CNN-single 在小规模的数据集上有更好的表现，实际上 CNN-multichannel 体现了一种折中思想，即既不希望 fine-tuning 的 vector 距离原始值太远，但同时保留其一定的变化空间；
16372212.png)
paper: Convolutional Neural Networks for Sentence Classification github: CNN_sentence