RAFT: Adapting Language Model to Domain Specific RAG

[nogawanogawa]

論文URL

https://arxiv.org/abs/2403.10131

著者

Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia, Ion Stoica, Joseph E. Gonzalez

会議

?

背景

近年ではLLMをソフトウェアフレームワークのコード補完から特定の文書コレクションの質問応答など、特殊化されたドメインで採用される動きがある。 このような状況下では、与えられた文書集合に基づく精度を最大化することが主な目標となる。

このような状況下では、RAGやfine tuningが有望な手法となっている。

• RAG
  • メリット
  • 質問に答える際に文書を参照することができる
  • デメリット
  • ドメインが固定され、学習機会が得られるメリットが活かせない
• fine tuning
  • メリット
  • 一般的なパターンを学習により獲得できる
  • デメリット
  • テスト時に文書を活用できない

目的

• LLMを微調整してドメイン知識を取り込みつつ、ドメイン内のRAGを改善するという課題を解決したい

アプローチ

• RAFT : Retrieval Augmented Fine Tuning
  • fine tuningとRAGの組み合わせ
  • fine tuning時のデータセットを工夫する
    • 正解を類推できるドキュメント（n >=1）と関係ない文書を混ぜ合わせたドキュメント群
  • 回答にはCoT方式を採用し、必ず理由と回答を答えさせるようにしている

ひとことメモ

RAGのためのfine tuningの方法論って感じ

[nogawanogawa]

背景

近年ではLLMをソフトウェアフレームワークのコード補完から特定の文書コレクションの質問応答など、特殊化されたドメインで採用される動きがある。 このような状況下では、与えられた文書集合に基づく精度を最大化することが主な目標となる。

このような状況下では、RAGやfine tuningが有望な手法となっている。

• RAG
  • メリット
  • 質問に答える際に文書を参照することができる
  • デメリット
  • ドメインが固定され、学習機会が得られるメリットが活かせない
• fine tuning
  • メリット
  • 一般的なパターンを学習により獲得できる
  • デメリット
  • テスト時に文書を活用できない

[nogawanogawa]

目的

• LLMを微調整してドメイン知識を取り込みつつ、ドメイン内のRAGを改善するという課題を解決したい

アプローチ

• RAFT : Retrieval Augmented Fine Tuning
  • fine tuningとRAGの組み合わせ
  • fine tuning時のデータセットを工夫する
    • 正解を類推できるドキュメント（n >=1）と関係ない文書を混ぜ合わせたドキュメント群
  • 回答にはCoT方式を採用し、必ず理由と回答を答えさせるようにしている

[nogawanogawa]

RAFT : Retrieval Augmented Fine Tuning

概念RAFTのfine tuning時の学習の概念図

• fine tuning時のデータセットを工夫する
  • 正解を類推できるドキュメント（n >=1）と関係ない文書を混ぜ合わせたドキュメント群
• 回答にはCoT方式を採用し、必ず理由と回答を答えさせるようにしている

学習に使用するデータセット

[nogawanogawa]

性能評価

データセット

• Natural Questions (NQ)
• HuggingFace
• PubMed QA

baseline

• LlaMA2-7B, w/ RAG
• domain specific Finetuning, w/ RAG

RAG performance

CoTの有無

test oracleの割合

distractorsを含んで学習したほうが、うまく回答できるようになることを示唆している

特にtest時に複数件のreferenceを取る際には、今回の手法が有効