Some NLP tasks can be solved in a fully unsupervised fashion by providing a pretrained language model with "task descriptions" in natural language (e.g., Radford et al., 2019). While this approach underperforms its supervised counterpart, we show in this work that the two ideas can be combined: We introduce Pattern-Exploiting Training (PET), a semi-supervised training procedure that reformulates input examples as cloze-style phrases to help language models understand a given task. These phrases are then used to assign soft labels to a large set of unlabeled examples. Finally, standard supervised training is performed on the resulting training set. For several tasks and languages, PET outperforms supervised training and strong semi-supervised approaches in low-resource settings by a large margin.
(訳)
いくつかのNLPのタスクは、自然言語による「タスクの説明」を事前学習した言語モデルに与えることで、完全に教師なし方式で解くことができる（例：Radford et al.、2019）。このアプローチは教師あり場合より精度は下回るが、我々はこの研究で、この2つのアイデアを組み合わせられることを示す。我々はPattern-Exploiting Training (PET)を紹介する。これは言語モデルが与えられたタスクを理解するのを助けるために、入力を穴埋めスタイルのフレーズとして再定式化する半教師付きの手法である。これらの再定式化されたフレーズは、ラベル付けされていない大規模なデータセットにソフトラベルを割り当てるために使用される。最後に、得られた訓練セットに対して、標準的な教師あり学習を行う。いくつかのタスクと言語において、PETは低リソース環境において、教師あり学習と強力な半教師ありアプローチを大きく上回る性能を発揮する。
Abstract
Some NLP tasks can be solved in a fully unsupervised fashion by providing a pretrained language model with "task descriptions" in natural language (e.g., Radford et al., 2019). While this approach underperforms its supervised counterpart, we show in this work that the two ideas can be combined: We introduce Pattern-Exploiting Training (PET), a semi-supervised training procedure that reformulates input examples as cloze-style phrases to help language models understand a given task. These phrases are then used to assign soft labels to a large set of unlabeled examples. Finally, standard supervised training is performed on the resulting training set. For several tasks and languages, PET outperforms supervised training and strong semi-supervised approaches in low-resource settings by a large margin.
(訳) いくつかのNLPのタスクは、自然言語による「タスクの説明」を事前学習した言語モデルに与えることで、完全に教師なし方式で解くことができる（例：Radford et al.、2019）。このアプローチは教師あり場合より精度は下回るが、我々はこの研究で、この2つのアイデアを組み合わせられることを示す。我々はPattern-Exploiting Training (PET)を紹介する。これは言語モデルが与えられたタスクを理解するのを助けるために、入力を穴埋めスタイルのフレーズとして再定式化する半教師付きの手法である。これらの再定式化されたフレーズは、ラベル付けされていない大規模なデータセットにソフトラベルを割り当てるために使用される。最後に、得られた訓練セットに対して、標準的な教師あり学習を行う。いくつかのタスクと言語において、PETは低リソース環境において、教師あり学習と強力な半教師ありアプローチを大きく上回る性能を発揮する。
論文リンク
https://arxiv.org/abs/2001.07676
著者/所属機関
Timo Schick, Hinrich Schutze
投稿日付 (yyyy/MM/dd)
2021/01/25
実装コード
https://github.com/timoschick/pet
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？