Open BrambleXu opened 5 years ago
一句话总结：
我们发现BERT里不同层表示了传统NLP pipeline里的不同分工，POS taggin，parsing，NER，semantic roles, then coreference。实验表明模型能动态调节这个pipeline。
资源：
论文信息：
笔记：
模型图：
结果：
我们发现虽然传统的NLP pipeline对不同任务是按顺序来处理的，但是在一些个别的例子上，一些high-level information (比如解决predicate argument relation)是可以帮助辨别低层级任务的，比如POS。这更加证实了 深度模型 能表达syntactic 和 semantic abstraction。而且BERT可以对不同level中的信息进行建模。
接下来要看的论文：
一句话总结：
我们发现BERT里不同层表示了传统NLP pipeline里的不同分工，POS taggin，parsing，NER，semantic roles, then coreference。实验表明模型能动态调节这个pipeline。
资源：
论文信息：
笔记：
模型图：
结果：
我们发现虽然传统的NLP pipeline对不同任务是按顺序来处理的，但是在一些个别的例子上，一些high-level information (比如解决predicate argument relation)是可以帮助辨别低层级任务的，比如POS。这更加证实了 深度模型 能表达syntactic 和 semantic abstraction。而且BERT可以对不同level中的信息进行建模。
接下来要看的论文：