schnell3526
commented
2 years ago 評価実験
12の中国語のタスクを行なったとのこと。
事前学習コーパス
- WikiZh: 中国語版Wikipediaのコーパス。120万文(1.2G)
- WebtextZh: 巨大なQAコーパスで4.1万エントリー、サイズは3.7G。またそれぞれのエントリーがトピックに属しており、トピックは合計28,000件
事前学習にあたりモデルのパラメタはgoogle BERTに従い、12層768次元、attention head sizeは12に設定しているとのこと。
知識グラフ
- CN-DBpedia: 数千万のentity、数億のrealtionを持つ百科事典的な知識グラフ。2文字以下のrelation、特殊な文字を吹くものを除去して約500万トリプル
- HowNet: 語学的な知識が収集された知識グラフで上と同様の前処理を行い、計52576トリプル
- MedicalKG: 著者が作成した知識グラフで医療用語を扱う。計13,864トリプル
open-domain タスク
8種類の中国語タスク(単文分類、2文分類、固有表現認識、QAマッチング)で評価。
- 感情分類系のタスクでは知識の埋め込みは大きな影響はなかった
- 語学的な類似度を問うタスクにおいては、辞書的な知識よりも言語知識の方が効果的であった
- QAやNERにおいては言語知識よりも辞書的な知識が効果的だった
-
Book_review: 中国のSNS(Douban)から収集された、正例負例それぞれ20,000件の単文分類問題
-
Chnesenticorp: ホテルのレビューデータセット。正例負例それぞれ6,000件の単文分類問題
-
Shopping: オンラインショッピングサイトのレビューデータセット。正例21,111件、負例18,889件の単文分類問題
-
Weibo: Wwiboからした感情分類のデータセット。正例負例それぞれ60,000件の単文分類問題
-
XNLI: 言語横断的な言語理解データセット。2文の関係を('entailment', 'contradict', 'neutral')に分類
-
LCQMC: 2つの質問が同じ意図でされたかいなかに分類
-
NLPCC-DBQA: どの質問だ与えられた文章に対しての質問か分類
-
MSRA-NER: 固有表現認識。マイクロソフトにより作成
Specific-domain tasks
Ablation studies
soft-positin indexやvisible matrixの影響について実験を行なっている。 知識グラフを挿入した場合は収束が早いそう、またvisible matrixはやはり有効とのこと。 🤔visible matrixのようなものはtransformerでグラフデータを表す場合によくみますがこの論文が先駆けだったのかな?
リンク
出版年
2019
概要
BERTの入力を工夫し、知識グラフの情報を埋め込む手法を提案。
入力文に直接知識グラフ中のトリプルを埋め込み、softposition index と visible matrix を導入して元の文の並びや構造は保持させる。