Open BrambleXu opened 5 years ago
一句话总结：
针对NMTtask，调查transformer里学到了什么样的信息。使用了4个probing task，用于研究syntactic and semantic captured information。我们发现一些特定的attention heads标注了syntactic dependency relations, 而low layer学到了更多的syntax信息。 #235 引用的文章
资源：
论文信息：
笔记：
使用的是OpenNMT framework
模型图：
结果：
接下来要看的论文：
一句话总结：
针对NMTtask，调查transformer里学到了什么样的信息。使用了4个probing task，用于研究syntactic and semantic captured information。我们发现一些特定的attention heads标注了syntactic dependency relations, 而low layer学到了更多的syntax信息。 #235 引用的文章
资源：
论文信息：
笔记：
使用的是OpenNMT framework
模型图：
结果：
接下来要看的论文：