W19-5006: Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets

[iBotamon]

https://aclweb.org/anthology/papers/W/W19/W19-5006/

[iBotamon]

どんなもの？

• 機械読解のGLUE taskの医療版であるBLUE task(Biomedical Language Understanding Evaluation)を定義し, それに対するBERTやELMoの性能を検証した論文
• 具体的なタスクとデータセットは次のとおり。基本的には分類や系列ラベリングとその亜種:
  • Sentence Similarity Task: MedSTS, BIOSSES
  • NER: BC5CDR-disease, BC5CDR-chemical, ShARe/CLFEF
  • Relation extraction: DDI, ChemProt, i2b2 2010
  • Classification: HoC
  • Inference: MedNLI

先行研究と比べてどこがすごい？

• 医用言語処理用にfine-tuneしたBERTモデル(baseとlargeの両方)を公開している点
• PubMed corpusで5M steps, MIMIC-III corpusで0.2M steps訓練した

技術や手法のキモはどこ？

• fine-tuningしたBERTも用いている (PubMedのみでfine-tune, PubMed+MIMIC-IIIでfine-tuneの両方)
• fine-tuningしたELMoも用いている (PubMed abstracts datasetを使用)

どうやって有効だと検証した？

• 10タスク全てでfine-tuningしたBERTが先行研究の成績を更新した
• 大まかには ELMo < BioBERT ≒ SOTA < fine-tuned BERT の傾向がある

議論はある？

次に読むべき論文は？

BioBERT: a pre-trained biomedical language representation model for biomedical text mining