https://arxiv.org/abs/2011.01675
Joint Entity and Relation Extraction with Set Prediction Networks
Dianbo Sui, Yubo Chen, Kang Liu, Jun Zhao, Xiangrong Zeng, Shengping Liu
The joint entity and relation extraction task aims to extract all relational triples from a sentence. In essence, the relational triples contained in a sentence are unordered. However, previous seq2seq based models require to convert the set of triples into a sequence in the training phase. To break this bottleneck, we treat joint entity and relation extraction as a direct set prediction problem, so that the extraction model can get rid of the burden of predicting the order of multiple triples. To solve this set prediction problem, we propose networks featured by transformers with non-autoregressive parallel decoding. Unlike autoregressive approaches that generate triples one by one in a certain order, the proposed networks directly output the final set of triples in one shot. Furthermore, we also design a set-based loss that forces unique predictions via bipartite matching. Compared with cross-entropy loss that highly penalizes small shifts in triple order, the proposed bipartite matching loss is invariant to any permutation of predictions; thus, it can provide the proposed networks with a more accurate training signal by ignoring triple order and focusing on relation types and entities. Experiments on two benchmark datasets show that our proposed model significantly outperforms current state-of-the-art methods. Training code and trained models will be available at this http URL.
セット予測ネットワークを使用した共同エンティティおよび関係の抽出
Dianbo Sui、Yubo Chen、Kang Liu、Jun Zhao、Xiangrong Zeng、Shengping Liu
エンティティと関係の共同抽出タスクは、文からすべての関係トリプルを抽出することを目的としています。本質的に、文に含まれるリレーショナルトリプルは順序付けられていません。ただし、以前のseq2seqベースのモデルでは、トレーニングフェーズでトリプルのセットをシーケンスに変換する必要があります。このボトルネックを解消するために、ジョイントエンティティとリレーションの抽出を直接セット予測問題として扱い、抽出モデルが複数のトリプルの順序を予測する負担を取り除くことができるようにします。このセット予測問題を解決するために、非自己回帰並列デコードを備えた変圧器を特徴とするネットワークを提案します。特定の順序でトリプルを1つずつ生成する自己回帰アプローチとは異なり、提案されたネットワークは、トリプルの最終セットを1回のショットで直接出力します。さらに、また、2部マッチングを介して一意の予測を強制するセットベースの損失を設計します。トリプルオーダーの小さなシフトに大きなペナルティを課すクロスエントロピー損失と比較して、提案された2部マッチング損失は予測の順列に対して不変です。したがって、トリプルオーダーを無視し、関係タイプとエンティティに焦点を当てることで、提案されたネットワークに、より正確なトレーニング信号を提供できます。2つのベンチマークデータセットでの実験は、提案されたモデルが現在の最先端の方法を大幅に上回っていることを示しています。トレーニングコードとトレーニング済みモデルは、次のURLで入手できます。トリプルオーダーを無視し、関係タイプとエンティティに焦点を当てることで、提案されたネットワークに、より正確なトレーニング信号を提供できます。2つのベンチマークデータセットでの実験は、提案されたモデルが現在の最先端の方法を大幅に上回っていることを示しています。トレーニングコードとトレーニング済みモデルは、次のURLで入手できます。トリプルオーダーを無視し、関係タイプとエンティティに焦点を当てることで、提案されたネットワークに、より正確なトレーニング信号を提供できます。2つのベンチマークデータセットでの実験は、提案されたモデルが現在の最先端の方法を大幅に上回っていることを示しています。トレーニングコードとトレーニング済みモデルは、次のURLで入手できます。 このhttpURL。
https://twitter.com/arxiv_cscl/status/1325191436405366784
https://arxiv.org/abs/2011.01675 Joint Entity and Relation Extraction with Set Prediction Networks Dianbo Sui, Yubo Chen, Kang Liu, Jun Zhao, Xiangrong Zeng, Shengping Liu The joint entity and relation extraction task aims to extract all relational triples from a sentence. In essence, the relational triples contained in a sentence are unordered. However, previous seq2seq based models require to convert the set of triples into a sequence in the training phase. To break this bottleneck, we treat joint entity and relation extraction as a direct set prediction problem, so that the extraction model can get rid of the burden of predicting the order of multiple triples. To solve this set prediction problem, we propose networks featured by transformers with non-autoregressive parallel decoding. Unlike autoregressive approaches that generate triples one by one in a certain order, the proposed networks directly output the final set of triples in one shot. Furthermore, we also design a set-based loss that forces unique predictions via bipartite matching. Compared with cross-entropy loss that highly penalizes small shifts in triple order, the proposed bipartite matching loss is invariant to any permutation of predictions; thus, it can provide the proposed networks with a more accurate training signal by ignoring triple order and focusing on relation types and entities. Experiments on two benchmark datasets show that our proposed model significantly outperforms current state-of-the-art methods. Training code and trained models will be available at this http URL.   セット予測ネットワークを使用した共同エンティティおよび関係の抽出 Dianbo Sui、Yubo Chen、Kang Liu、Jun Zhao、Xiangrong Zeng、Shengping Liu エンティティと関係の共同抽出タスクは、文からすべての関係トリプルを抽出することを目的としています。本質的に、文に含まれるリレーショナルトリプルは順序付けられていません。ただし、以前のseq2seqベースのモデルでは、トレーニングフェーズでトリプルのセットをシーケンスに変換する必要があります。このボトルネックを解消するために、ジョイントエンティティとリレーションの抽出を直接セット予測問題として扱い、抽出モデルが複数のトリプルの順序を予測する負担を取り除くことができるようにします。このセット予測問題を解決するために、非自己回帰並列デコードを備えた変圧器を特徴とするネットワークを提案します。特定の順序でトリプルを1つずつ生成する自己回帰アプローチとは異なり、提案されたネットワークは、トリプルの最終セットを1回のショットで直接出力します。さらに、また、2部マッチングを介して一意の予測を強制するセットベースの損失を設計します。トリプルオーダーの小さなシフトに大きなペナルティを課すクロスエントロピー損失と比較して、提案された2部マッチング損失は予測の順列に対して不変です。したがって、トリプルオーダーを無視し、関係タイプとエンティティに焦点を当てることで、提案されたネットワークに、より正確なトレーニング信号を提供できます。2つのベンチマークデータセットでの実験は、提案されたモデルが現在の最先端の方法を大幅に上回っていることを示しています。トレーニングコードとトレーニング済みモデルは、次のURLで入手できます。トリプルオーダーを無視し、関係タイプとエンティティに焦点を当てることで、提案されたネットワークに、より正確なトレーニング信号を提供できます。2つのベンチマークデータセットでの実験は、提案されたモデルが現在の最先端の方法を大幅に上回っていることを示しています。トレーニングコードとトレーニング済みモデルは、次のURLで入手できます。トリプルオーダーを無視し、関係タイプとエンティティに焦点を当てることで、提案されたネットワークに、より正確なトレーニング信号を提供できます。2つのベンチマークデータセットでの実験は、提案されたモデルが現在の最先端の方法を大幅に上回っていることを示しています。トレーニングコードとトレーニング済みモデルは、次のURLで入手できます。 このhttpURL。