19-EMNLP-The Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling Objectives

[wangqiangneu]

简介

分析在不同的任务中(LM, MLM, MT)中，token-level的表示在每层中是怎么变化的。度量的方法用了mutual information和canonical correlation analysis。其中canonical correlation analysis在这篇文章里也使用了，但是观测的是重要的神经元

• 有意思的现象：
  • MLM存在明显的两阶段的变化，刚开始是对context encoding，在最后两层的时候，开始token reconstruction。观测的信号是，一个词在不同层的表示跟他的embedding的相关度(e.g. IM)，发现是先减小再增大
  • 对于MT，即使在最顶层对position也很敏感

论文信息

• Author: Yandex
• Paper

总结

• 学习学习别人是咋做分析的
• 对于MT的encoder而言，到底information flow在每一层中是什么行为，还有搞头呢。难点是想清楚，分析的工具是什么，分析的对象又是什么