Open tm4roon opened 3 years ago
事前学習した言語モデルの転移学習に関する研究。従来の転移学習では、source domainをtarget domainに対応させるように調整を行っていた(下図a)。例えば、BERTで単語穴埋め + 次文予測を行ったのちに、テキスト分類タスクに調整する、など。本研究では、target domainをsource domainに対応するように変換を行う方法を提案している(下図b)。具体的にこの論文で対象としているタスクは言語理解タスク(BERT)をsource domainとし、質問応答タスクをtarget domainとしている。質問応答タスクをBERTの学習に適した形式に変換している。結果として、target domain → source domainの変換を行ったのちに学習した方が、source domain → target domainの学習よりに比べて大幅に性能を改善できることを示した。
質問応答タスクを次の2つの方法で言語理解タスクの形式に変換する。
質問応答タスク(QA)では文中に含まれる特定の情報を抽出するのに対し、言語理解タスク(NLU)では、 「〇〇に関する言及はどこですか？」のような質問文を入力に追加して、〇〇の部分に関する語句を推定する。
上記と同様に、"Is the intent asking about ____?"のようなYES/NOの質問を追加して発話意図を推定させるタスクに置き換える。
Language Model is All You Need: Natural Language Understanding as Question Answering
事前学習した言語モデルの転移学習に関する研究。従来の転移学習では、source domainをtarget domainに対応させるように調整を行っていた(下図a)。例えば、BERTで単語穴埋め + 次文予測を行ったのちに、テキスト分類タスクに調整する、など。本研究では、target domainをsource domainに対応するように変換を行う方法を提案している(下図b)。具体的にこの論文で対象としているタスクは言語理解タスク(BERT)をsource domainとし、質問応答タスクをtarget domainとしている。質問応答タスクをBERTの学習に適した形式に変換している。結果として、target domain → source domainの変換を行ったのちに学習した方が、source domain → target domainの学習よりに比べて大幅に性能を改善できることを示した。
Question Answering for Natural Language Understanding
質問応答タスクを次の2つの方法で言語理解タスクの形式に変換する。
Slot Detection
質問応答タスク(QA)では文中に含まれる特定の情報を抽出するのに対し、言語理解タスク(NLU)では、 「〇〇に関する言及はどこですか？」のような質問文を入力に追加して、〇〇の部分に関する語句を推定する。
Intent Detection
上記と同様に、"Is the intent asking about ____?"のようなYES/NOの質問を追加して発話意図を推定させるタスクに置き換える。
Results
文献情報