20171028-20171103:Lec10

[stuian]

此issue为本周提交作业以及提问讨论的区域

提交作业的形式为：

• 姓名：xxx
• 作业：链接
• 感想：可以对本周学习内容进行小总结，或者学习过程中的感受，也可以是学习过程中的问题等等。

[zjp96machineL]

姓名：张金鹏 学习内容：lec10 感想：本周lec10的内容主要是介绍了几个目前针对目前几个具体应用的模型，分别是（1）用于paraphrase detection的standard rnns，（2）用于relation classification的mv-rnn，（3）用于情感分析的rntn以及（4）用于phrase similarity的tree lstms。 （1）paraphrase detection ：判断两句的meaning的一致性。利用RAE或unfolding-RAE训练两个输入input，在经过一个min-pooling和mlp得到输出。 （2）mv-rnn，单词表示为一个矩阵加一个向量的形式，先相互修饰，再训练。 （3）说明了基本词袋模型的缺陷，提出了两种改进措施，一是使用更好的训练集treebank，其次是用rntn模型训练，rntn最输入做了改进，引入了张量层。并且基于原来的反向传播公式重新推到了一遍反向传播公式。 （4）说明一下tree-lstm的基本公式以及原理。

[WALLE499]

姓名：赵松 链接：https://github.com/WALLE499/Hello-AI.git 感想：lec10 主要讲了四个模型： 1、Standard RNNs RNNs for Paraphrase Detection 主要包含两个方面。第一方面是Recursive Autoencoder，第二方面是Neural Network for Variable-Sized Input 这个模型在第二篇paper里讲得很详细，还没看论文。 2、Matrix-Vectors RNNs 在表示一个word的时候不仅仅只用vector的形式表示，用matrix加vector结合起来的方式表示一个word 3、Recursive Neural Tensor Networks 4、Tree LSTMs PPT 中文博客 视频都看了一遍还是有很多东西不太懂，我觉得可能是视频里讲的不够详细，我需要继续看论文.

[Sicanno]

• 姓名：刘云珂
• 学习内容：lec 10
• 感想：lec10主要从应用方面介绍了四种改进的RNN模型。
  1.Standard RNNs 。从Recursive Autoencoder和NN for Variable-sized Input两个方面来介绍，通过RAE或者unfolding RAE建立的语法树得到相应输入，再经过一个pooling layer和一个NN得到输出。
  主要用来比较句子的相似性。 2.mv-rnns。对输入进行了修改，在原有的输入向量上再乘上相应的矩阵。ppt上介绍的比较简单。
  3.对词袋模型的缺陷进行了介绍，不能检测语法树和语言特征，通过使用组合训练集treebank和rntn模型进行改进。rntn模型还未看paper,对具体过程不了解。使用rntn模型能够识别negation and its scope(目前唯一能够识别的模型？)

[hzc5095]

姓名：郝增超 学习内容：lecture 10 感想：本周的lecture主要讲了改进的四种RNN模型。 1.Standard RNNs 两个方面一是Recursive Autoencoder，用两种方法对parse tree进行处理。二是Neural Network for Variable-Sized Input。 2.Matrix-Vector RNNs 用matrix和vector加起来的方式表示一个word。 3.rntn。 4.Tree LSTMs
可能是tree方面理解的还不太好，总觉得一些知识衔接不紧密。看了一些关于聊天机器人制作的知识，想试着做一下。

[millllk]

姓名：吕思奇 总结：lec10 1 standard rnns for paraphrase detection 主要看了一下论文 模型利用unfolding RAE建立语法树，用dynamic pooling将不同长度大小的数据限制在固定大小的矩阵，再利用rnn网络得到输出 2 matrix-vector rnns for relation classfication 在词向量后乘上一个n*n的矩阵替代原来的输入 3 recursive neural tensor networks for sentiment analysis 引入张量 （没太看懂） 4 tree lstms for phrase similarity 复习了一下lstm的原理

[ylwxy2015]

姓名：王鑫禹 总结：lec10：Advanced Recursive Neural Networks

主要介绍了4个基于Recursive NN的具体模型，适用于4个特定的任务

1 standard rnns —— paraphrase detection

首先使用recursive antoencoder，输入两个句子，由于输入的句子长短不一，输出一个variable_sized similarity matrix；再使用一层variable-sized pooling layer得到一个fixed-vector；最后通过neural network得到classification output

2 matrix-vector rnns ——relation classfication

和上节课讲的模型很相似，区别在于每个节点把单一的vector换成了matrix-vector，不太明白这样做的好处

3 recursive neural tensor networks —— sentiment analysis

首先指出compositional training data的质量好坏对improving sentiment帮助很大，从而介绍了一种新的数据结构，new sentiment tree bank，并设计了新的compositional model，recursive neural tensor network，cross entropy作为损失函数，用backpropagation去训练

4 tree lstms —— phrase similarity

在语法树结构的处理中引进了lstm的原理，main idea是Sum the child vectors in a tree structure ，但没太看懂


[wtybill1]

姓名：陈梓涵 内容：LEC10+简单的CNN的代码书写 感想：1.主要看了四种改进的RNN模型，分别是standard RNNs用于Paraphrase detection（判断语义，用RAE得到输入，然后通过RNN得到输出）、matrix-vector RNNs 用于relation classification（在原有的基础上乘上一个矩阵，得到信新输入）、recursive neural tensor networks用于sentiment analysis（这块没懂） 和Tree LSTM用于Phrase similarity（用于递归网络的树结构可以被固定为句子语法分析树的结构，稍微地看了一下（Socher et al。，2011a，c），但是没看懂，只明白了原理） 2.粗略地看了一遍CNN的原理，学了TF-learn，看了一下其他人的代码，感觉这个东西好简洁。。。

[key000]

姓名：李园溪 学习内容：lec 10 感想：lecture10介绍了四种改进的RNN模型。主要是各个模型在Paraphrase detection及Sentiment Analysis方面的应用。
 1.Standard RNNs 。 主要讲了Recursive Autoencoder和Neural Network for Variable-sized Input两个方面，通过Recursive Autoencoder两种Autoencoder的方法，处理parse tree，再用dynamic pooling处理，然后用rnn网络
主要用来比较句子的相似性。 
2.Matrix-Vectors RNNs。 在表示一个word的时候，用matrix加vector结合起来的方式表示。
 3.RNTN 4.Tree LSTMs 主要就是从tree的结构中进行LSTMs的建模，还没看的太仔细

[guangyaooo]

姓名：丁光耀 内容：https://github.com/Dgy2017/css224d_notebook/tree/master/lec10_RNTN 感想：做了一天的整理，总算是把之前落下的补完了，lec9到lec10中多次出现了RNN模型，很多模型都是由RNN变形而来。针对不同的问题，可以修改RNN输出以此来适应问题。所以，在对语句有充分的理解基础上，都可适当修改模型结够，由此产生新的模型。比如说CVG是考虑的RNN模型中所有分支都使用同一个权值矩阵不是很合理，MV-RNN是考虑RNN交互不足的弱点，RNTN是考虑到MV-RNN的参数过于庞大。因此，在充分理解一个模型后，我们也可以针对某些模型的不足之处对其进行修改

[Hotown]

姓名：罗宏涛 内容：lec 10 感想：加入实验班后，第一次完整意义上的学习（lec9的阶段因为基础知识太少。。完全没有感想）。lec10中主要讲述了四个模型，并且对应了四种应用场景。

1. Standard RNNs

   用于Paraphrase Detection

2. Matrix-Vector RNNs

   用于Relation classification

这个模型还不明白加入一个Matrix的原因

3. RNTN

   用于Sentiment Analysis

4. Tree LSTMs

   用于Phrase Similarity

lec10知识整理链接：http://ihotown.cn/article/27