ACL-2019/06-Matching the Blanks: Distributional Similarity for Relation Learning

[BrambleXu]

一句话总结：

刷新了一波RE数据集上的SOTA。现在对RE的建模大致分两种，一种是通过对句子的surface form建模来表示relation，另一种是将surface form与一个既存的KG联合起来。但这两种方法都有一个问题，就是泛化能力差。这篇文章提出的想法是基于Distributional Hypothesis（分布假设）的，即出现在同样情景(context)下的词，有相同的意思。这篇文章使用BERT(基于分布假设的模型)，并只依靠entity-linked text，来构建task agnostic relation representations。发现即使不用训练数据，效果也比FewRel #37 效果好。并且如果用task agnostic representations来初始化模型的话，发现在监督式的RE训练数据上取得了非常棒的效果。

资源：

• pdf
• [code](
• [paper-with-code](

论文信息：

• Author: Google Research
• Dataset: FewRel, SemEval 2010 Task 8, KBP37, and TACRED
• keywords:

笔记：

读abs的时候的问题：

• 什么是surface form
• how to jointly embed surface forms with relations from an existing knowledge graph
• task agnostic relation representations, 如何做到agnostic
• solely from entity-linked text，什么是entity-linked tex

模型图：

结果：

这篇文章用的是BERT large，而且没有提供BERT base的比较结果。就算是SOTA，不能和TACRED哪些 基于BERT base的模型进行比较，可信力比较低。

接下来要看的论文：

[lanzhuzhu]

hi, 我也看了这篇论文，想请教一下，在监督的关系分类模型上，即图2左的模型是怎么学习到每个类的表示的呢？是用一个矩阵表示，和transformer+linear之后的输出向量 相乘然后softmax分类，根据loss优化这个矩阵得到的吗？这样似乎并不能保证这个矩阵能优化成类的表示呢？

[NealRichardRui]

hi, 我也看了这篇论文，想请教一下，在监督的关系分类模型上，即图2左的模型是怎么学习到每个类的表示的呢？是用一个矩阵表示，和transformer+linear之后的输出向量 相乘然后softmax分类，根据loss优化这个矩阵得到的吗？这样似乎并不能保证这个矩阵能优化成类的表示呢？

感觉论文中不清不楚的地方有好多，关系类型的表征方法只是其中之一