e4exp
commented
3 years ago 1 はじめに
GPT3 (Brown et al., 2020) のような事前学習済みの大規模な言語モデルは、タスクをテキスト間生成問題として定式化することで、さまざまな自然言語処理タスクにおいて、ますます素晴らしい数ショットの性能を示してきた (Raffel et al., 2020; Brown et al., 2020)。 これらのモデルは、データが豊富なタスクに対する最先端のモデルとはまだ競合しないが、訓練されたLMと、問題を何らかの形で記述した少量のテキスト（プロンプト）のみが与えられれば、新しいタスクやドメインを迅速にプロトタイプ化することができるため、開発者にとっては非常に有用である。 しかし、意味解析のタスクは、このようなパラダイムには当てはまりません。 なぜならば、意味解析は通常、カスタムの意味表現を使用するため、ウェブ上にすでに存在している可能性は低く、ましてやこれらのLMに影響を与えるほど大量に存在しているとは考えられないからです。 この障壁を克服するために、我々は2つの重要な洞察を活用する。
(1)LMは自然言語の生成に優れているため、意味解析を制御された副言語への言い換えとして定式化する(Berant and Liang, 2014; Marzoev et al., 2020)。 (2)意味解析は、LMが有効な意味解析を識別することだけを必要とするため、現代のLMの自己回帰特性を利用して、LMに副言語をゼロから学習させることなく、制御された副言語で可能な解析を効率的に探索することが可能である。
具体的には、Berant and Liang (2014) に倣い、ある新しいドメインの開発者が、サポートされた（かつ整形された）意味表現の空間と、それに対応する自然言語の構文を定義する同期文脈自由文法（SCFG）を最初に記述することを想定している。 このような文法は、自然言語形式とドメイン固有の意味表現の間をマッピングする方法を提供し、システムが自然言語の発話uを正規の（しかし依然として自然な）形式cにマッピングすることに完全に集中できるようにします。
このような文法と、LMと、目的のタスクのためにLMをプライム化するプロンプト（通常は一握りの例の形をしている）があれば、我々のアプローチは直ちに機能的な意味解析器を生み出す。 さらに、プロンプトに収まるようなより多くの例を利用するためのアプローチを検討します。 具体的には，少数の学習例でパラメータを微調整する標準的なアプローチと，学習例のセットから特定の例に特化したプロンプトを構築する動的プロンプト選択を検討しています．
GPT-2 (Radford et al., 2019)、GPT-3 (Brown et al., 2020)、BART (Lewis et al., 2020)を基礎となるLMとして用いて、Overnight (Wang et al., 2015)、Break (Wolfson et al., 2020)、SMCalFlow (Semantic Machines et al., 2020)の各データセット1で実験を行う。 我々のソリューションは、以下のことを実証します。
(1)言語のような表現を対象とした場合、より高い精度が得られること、 (2)明示的なデコーダ制約を使用することで改善されること、 (3)意味解析器を迅速に試作するための新たなフロンティアを提案するのに十分な性能が得られること、を実証する。
本研究では、事前に学習させた大規模な言語モデルを、数ショットの意味解析器として使用する方法を検討しています。 意味解析の目的は、自然言語の入力を受けて、構造化された意味表現を生成することです。 しかし、言語モデルは自然言語を生成するように訓練されています。 このギャップを埋めるために、私たちは言語モデルを使って入力を英語に似た制御された副言語に言い換え、ターゲットとなる意味表現に自動的にマッピングします。 少量のデータと、英語のような表現に変換するためのごくわずかなコードで、意味解析パーサーを迅速に立ち上げるための青写真を提供し、複数のタスクで優れた性能を示す。