PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning, Zhihan Zhang+, N/A, ACL'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.08711

  Affiliations

  • Zhihan Zhang, N/A
  • Dong-Ho Lee, N/A
  • Yuwei Fang, N/A
  • Wenhao Yu, N/A
  • Mengzhao Jia, N/A
  • Meng Jiang, N/A
  • Francesco Barbieri, N/A

    Abstract

  • Instruction tuning has remarkably advanced large language models (LLMs) in understanding and responding to diverse human instructions. Despite the success in high-resource languages, its application in lower-resource ones faces challenges due to the imbalanced foundational abilities of LLMs across different languages, stemming from the uneven language distribution in their pre-training data. To tackle this issue, we propose pivot language guided generation (PLUG), an approach that utilizes a high-resource language, primarily English, as the pivot to enhance instruction tuning in lower-resource languages. It trains the model to first process instructions in the pivot language, and then produce responses in the target language. To evaluate our approach, we introduce a benchmark, X-AlpacaEval, of instructions in 4 languages (Chinese, Korean, Italian, and Spanish), each annotated by professional translators. Our approach demonstrates a significant improvement in the instruction-following abilities of LLMs by 29% on average, compared to directly responding in the target language alone. Further experiments validate the versatility of our approach by employing alternative pivot languages beyond English to assist languages where LLMs exhibit lower proficiency. Our code and data are available at https://github.com/ytyz1307zzh/PLUG.

    Translation (by gpt-4o-mini)

• 指示チューニングは、大規模言語モデル（LLMs）が多様な人間の指示を理解し応答する能力を著しく向上させてきた。高リソース言語においては成功を収めているものの、低リソース言語への適用は、事前学習データにおける言語分布の不均衡から生じるLLMsの基礎能力の不均衡により、課題に直面している。この問題に対処するために、我々はピボット言語ガイド生成（PLUG）というアプローチを提案する。これは、主に英語という高リソース言語をピボットとして利用し、低リソース言語における指示チューニングを強化するものである。このアプローチでは、モデルがまずピボット言語で指示を処理し、その後ターゲット言語で応答を生成するように訓練される。我々のアプローチを評価するために、4つの言語（中国語、韓国語、イタリア語、スペイン語）の指示を含むベンチマークX-AlpacaEvalを導入し、各言語は専門の翻訳者によって注釈が付けられている。我々のアプローチは、ターゲット言語のみで直接応答する場合と比較して、LLMsの指示に従う能力を平均29%向上させることを示している。さらに、追加の実験により、英語以外の代替ピボット言語を用いて、LLMsの熟練度が低い言語を支援する我々のアプローチの多様性が検証された。我々のコードとデータは、https://github.com/ytyz1307zzh/PLUG で入手可能である。

  Summary (by gpt-4o-mini)

• 指示チューニングはLLMsの指示理解を向上させるが、低リソース言語では課題がある。これに対処するため、英語をピボット言語とするPLUGアプローチを提案。モデルはまず英語で指示を処理し、次にターゲット言語で応答を生成。4つの言語での評価により、指示に従う能力が平均29%向上した。さらに、他のピボット言語を用いた実験も行い、アプローチの多様性を確認。コードとデータは公開されている。

[AkihikoWatanabe]

概要

cross-lingualでinstruction tuningをする手法。target言語のInstructionが与えられたときに、Pivotとなる言語でInstructionとResponseを生成した後、targetとなる言語に翻訳するようなデータ（それぞれをseparatorを用いてconcatする）でInstruction Tuningすることでtarget言語での性能が向上

評価

ゼロショットのOpen-end GenerationタスクでInstruction Tuningされたモデルが評価されるが、既存のマルチリンガルの評価セットはサンプル数が小さく、機械翻訳ベースのものはノイジーという課題がある。このため、著者らは評価する4言語（low-resource language）のプロの翻訳家を雇用し、AlpacaEvalを翻訳し、4言語（Chinese, Korean, Italian, Spanish）のinstructionが存在するパラレルコーパス X-AlpacaEvalを作成し評価データとして用いる。

利用するFoundationモデルは以下の3種類で、

• LLaMA-2-13B (英語に特化したモデル)
• PolyLM-13B (マルチリンガルなモデル)
• PolyLM-Instruct-Instruct (PolyLM-13Bをinstruction tuningしたもの)

これらに対して学習データとしてGPT4-Alpaca #1401 instruction-tuning dataset (52kのインストラクションが存在) を利用する。GPT4-AlpacaをChatGPTによって4言語に翻訳し、各言語に対するinstruction tuning datasetを得た。

比較手法として以下の5種類と比較している。ここでターゲット言語は今回4種類で、それぞれターゲット言語ごとに独立にモデルを学習している。

• Pivot-only training: pivot言語（今回は英語）のみで学習した場合
• Monolingual response training: pivot言語とtarget言語のデータを利用した場合
• Code Switching: Monolingual response trainingに加えて、pivot言語とtarget言語のinput/outputをそれぞれ入れ替えたデータセットを用いた場合（i.e. pivot言語 input-target言語 output, target言語 input-pivot言語 outputのペアを作成し学習データに利用している）
• Auxiliary translation tasks: Monolingual respones trainingに加えて、翻訳タスクを定義し学習データとして加えた場合。すなわち、input, outputそれぞれに対して、pivot言語からtarget言語への翻訳のサンプル ([P_trans;x^p], x^t）と（[P_trans;y^p], y^t）を加えて学習している。ここで、P_transは翻訳を指示するpromptで、;は文字列のconcatnation。x^p, y^p, x^t, y^tはそれぞれ、pivot言語のinput, output、target言語のinput, outputのサンプルを表す。
• PLUG（提案手法）: Pivot-only Trainingに加えて、target言語のinputから、pivot言語のinput/output -> target言語のoutputをconcatしたテキスト(x^t, [x^p;y^p;y^t]) を学習データに加えた場合

評価する際は、MT-Bench #903 のように、GPT4を用いた、direct pair-wise comparisonを行っている。 direct pair-wise comparisonは、2つのサンプルを与えてLLMに何らかの判断やスコアリングをさせる方法であり、今回はどちらがinstructionにより従っているかに勝敗/引き分けをGPT4に判断させている。LLMによる生成はサンプルの順番にsensitiveなので、順番を逆にした場合でも実験をして、win-lose rateを求めている。1つのサンプルペアに対して、サンプルの順番を正順と逆順の2回評価させ、その双方の結果を用いて最終的なwin/lose/tieを決めている。端的に言うと、勝敗が2-0ならそのサンプルの勝ち、同様に1-1なら引き分け、0-2なら負け、ということである。