关于PDF版本第15章的一些错误与建议（2019年7月23日版）

[artpli]

• [x] 名词补充说明： P369页 名词“束搜索”，学生在查找资料过程中发现在论文（知网）和博客中Beam Search的中文翻译“束搜索”与“集束搜索”都有，且数量相当，建议补充说明“束搜索”的别名为“集束搜索”
• [x] 公式错误：P371页 公式15.18，公式左边$\theta$右上标的意思是想表达“MLE”么，也可能是想表达估计的“^“符号，但是这里应该是有问题的
• [ ] 内容错误：P373页 ”跳层连接“部分，学生觉得有多处问题：
  • Bengio 2003年的论文中增加的 ”direct connections“ 从结果看来（论文4.2 第二段）并不像是为了增加特征的多样性（似乎这里也没有增加），而是为了加快梯度下降过程，使模型更快收敛。而且在加了跳层连接后其结果并没有变好，甚至泛化能力有所下降。
  • 公式15.27中的$e_t$在训练过程中是不存在的，若是按照Bengio[2003]的论文与本书的符号的对应关系来看，这里的$e_t$应该改为h'。
  • 公式15.27 在将上述错误修订后也是不太合适的，一方面虽然这里的拼接操作在经过矩阵运算后与”跳层连接“中”连接“的结果相同，但是这里表述有些跳跃，并不能清楚地表达”跳层连接“的意思；另一方面，即使最终结果相同，能够与公式15.30对应（注意如果不表示成”拼接操作“，P375页 公式15.30 也需要调整），这里的$h_t$的符号表示和P374页图(a)中的示意也是不相匹配的；
• [x] 图像问题：P374页 图15.3(a)和(b)，此处的图像有几处问题，一个是$y_t$并没有在文章中解释其含义，甚至自始至终没有提到$y_t$；另一个是建议在图中标注出 P373 公式15.25 中的h', 以及 P375 公式15.29中的$o_t$
• [x] 符号错误：P378页 15.5.1中正文第一段与第二段中的符号多处（6处）都多打了右括弧
• [x] 术语冲突：P378页 题目15.5 题目中所说的”学习问题“与P367页最下方所说的”学习问题“并不相同，但是因为P367页所说的”学习问题“的名字在后面的过程中没有特别强调出，而P378页的题目与之较近，有可能会引起误会，老师可以考虑一下要不要稍作调整
• [x] 语句错误：P380 15.5.3.1 正文第一句，”两层的来组织此表“似乎缺少主语；”并每一个词只能属于一个分组“中”并“建议改成”并且“
• [x] 术语问题：P385页 15.5.3.3 正文第二段第一句中”转换为两类分类问题“，因为老师在本书中将”Binary Classification“ 表述成”两类分类“，导致这里阅读时与日常习惯冲突，容易产生歧义。学生查阅了一些书籍和博客的表述，周志华老师的《机器学习》和马春鹏翻译的《模式识别与机器学习》将其表述为”二分类“，李航老师的《统计学习方法》中翻译为”二类分类“，张志华老师的中文版”花书“《深度学习》中将分类器翻译成”二元分类器“，将分类问题翻译成”二分类问题“，当然宗成庆老师的《统计自然语言处理》中的表述与老师相同，但是目前各出版物与网上各种博客还是更习惯将其表述成”二分类“或者”二元分类“，并且”两类分类“在中文句子中容易产生歧义，老师可以考虑要不要做一下调整。
• [x] 多字：P391页 15.6.3.4 黑体”解码器“后面的句子中“解码器依是通过自回归...”中“依”字多余
• [x] 错词：P393页 习题15-4 中“BLEU-2”与“ROUGE-2”似乎应为“BLEU”与“ROUGE”

上述问题关于”跳层连接“的部分，学生没有再多查阅别的资料，只就Bengio的论文来看有上述提议，老师可能还有其他思考，还请指教。

[artpli]

补充：

• [x] 多字问题： P383页 第二段正文，“但是我们不能使用直接根据...“一句中“使用”多余，“需要在”出现了两遍，冗余

[artpli]

补充：

• [x] 标点问题：P371页 倒数第二段正文中“以自然语言为例，由于大多数自然语言都服从Zipf定律。”不成句子，建议结尾改为冒号或引号，并相应调整后面的标点
• [x] 标点问题：建议将本书中如 P373页 公式15.25 公式15.26 这样的公式前面的正文的结尾的标点改为冒号

[tianylin98]

• [ ] ML表示最大似然估计没有什么问题，因为估计值本身被称为estimate，而且上下文指示也比较明确了；
• [ ] 关于跳层连接:

增加特征多样性指的是，将低层次的特征和高层次的特征合并，书中这里只是援引跳层连接的出处。在后面的一些工作也借鉴了这种做法，例如: Enhanced LSTM for Natural Language Inference和Dissecting Contextual Word Embeddings: Architecture and Representation。

另外，不能说在加了跳层连接后其结果并没有变好，原文中提到：

The results do not allow to say whether the direct connections from input to output are useful or not, but suggest that on a smaller corpus at least, better generalization can be obtained without the direct input-to-output connections, at the cost of longer training: without direct connections the network took twice as much time to converge (20 epochs instead of 10), albeit to a slightly lower perplexity.

跳层连接收敛比无跳层连接的模型快一倍，且结果差异不很显著。

公式15.27的跳层连接，t时刻的输入词向量e_t与g(·)输出一一对应，应该是不需要修改。

[tianylin98]

咋关掉了😳，其他的几条建议应该没有问题呀。可以reopen吗？

[artpli]

咋关掉了😳，其他的几条建议应该没有问题呀。可以reopen吗？

我在查一些资料，想再确定一下再开:)

[artpli]

• [ ] ML表示最大似然估计没有什么问题，因为估计值本身被称为estimate，而且上下文指示也比较明确了；
• [ ] 关于跳层连接:

增加特征多样性指的是，将低层次的特征和高层次的特征合并，书中这里只是援引跳层连接的出处。在后面的一些工作也借鉴了这种做法，例如: Enhanced LSTM for Natural Language Inference和Dissecting Contextual Word Embeddings: Architecture and Representation。

另外，不能说在加了跳层连接后其结果并没有变好，原文中提到：

The results do not allow to say whether the direct connections from input to output are useful or not, but suggest that on a smaller corpus at least, better generalization can be obtained without the direct input-to-output connections, at the cost of longer training: without direct connections the network took twice as much time to converge (20 epochs instead of 10), albeit to a slightly lower perplexity.

跳层连接收敛比无跳层连接的模型快一倍，且结果差异不很显著。

公式15.27的跳层连接，t时刻的输入词向量e_t与g(·)输出一一对应，应该是不需要修改。

• [ ] "ML”的问题确实是我自己习惯和接触的一些书籍的问题，觉得MLE更加清晰，不过也有不少用ML标识的，在这里并没有什么问题；
• [ ] 一般来说跳层结构确实能够增加特征的多样性，比如FCN网络，Bengio的这个模型从原理上来讲也确实增加了特征的多样性，但是我觉得从结果看来，其主要效果还是加快了梯度反向传播，加快了训练速度。当然这只是从Bengio的模型来看，总体论述跳层连接的作用“增加特征多样性”还是主要的。
• [ ] 公式15.27中t时刻的输入词向量不是e{t-n+1},e{t-n+2},...,e_{t-1}形成的向量序列么，从Bengio的模型来看，是这些向量拼接成的h'与g(h';θ)拼接再和一个权重矩阵相乘吧，e_t是t时刻要预测的softmax结果中最大的一项对应的词，似乎不是这里的g(·)的输出，我们这里应该还不知道e_t吧。我觉得从Bengio的网络来看，是h'和g(h';θ)拼接的，也就是P374页图(a)中最下面一层和倒数第二层都与最上面一层连接。个人理解，有可能错误，还请指教。

[xpqiu]

谢谢，已修正。