Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors, Yuefeng Peng+, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2411.01705

  Authors

  • Yuefeng Peng
  • Junda Wang
  • Hong Yu
  • Amir Houmansadr

    Abstract

  • Despite significant advancements, large language models (LLMs) still struggle with providing accurate answers when lacking domain-specific or up-to-date knowledge. Retrieval-Augmented Generation (RAG) addresses this limitation by incorporating external knowledge bases, but it also introduces new attack surfaces. In this paper, we investigate data extraction attacks targeting the knowledge databases of RAG systems. We demonstrate that previous attacks on RAG largely depend on the instruction-following capabilities of LLMs, and that simple fine-tuning can reduce the success rate of such attacks to nearly zero. This makes these attacks impractical since fine-tuning is a common practice when deploying LLMs in specific domains. To further reveal the vulnerability, we propose to backdoor RAG, where a small portion of poisoned data is injected during the fine-tuning phase to create a backdoor within the LLM. When this compromised LLM is integrated into a RAG system, attackers can exploit specific triggers in prompts to manipulate the LLM to leak documents from the retrieval database. By carefully designing the poisoned data, we achieve both verbatim and paraphrased document extraction. We show that with only 3\% poisoned data, our method achieves an average success rate of 79.7\% in verbatim extraction on Llama2-7B, with a ROUGE-L score of 64.21, and a 68.6\% average success rate in paraphrased extraction, with an average ROUGE score of 52.6 across four datasets. These results underscore the privacy risks associated with the supply chain when deploying RAG systems.

    Translation (by gpt-4o-mini)

• 大規模言語モデル（LLMs）は、ドメイン特有の知識や最新の知識が不足している場合に正確な回答を提供するのに依然として苦労しています。Retrieval-Augmented Generation（RAG）は、この制限に対処するために外部の知識ベースを組み込む手法ですが、新たな攻撃の脆弱性も引き起こします。本論文では、RAGシステムの知識データベースをターゲットとしたデータ抽出攻撃を調査します。これまでのRAGに対する攻撃は、主にLLMsの指示に従う能力に依存しており、シンプルなファインチューニングによってその成功率をほぼゼロにまで低下させることができることを示します。これは、特定のドメインでLLMsを展開する際にファインチューニングが一般的な実践であるため、これらの攻撃を実行不可能にします。さらに脆弱性を明らかにするために、RAGにバックドアを仕掛ける手法を提案します。これは、ファインチューニング段階で少量の汚染データを注入し、LLM内にバックドアを作成するものです。この妥協されたLLMがRAGシステムに統合されると、攻撃者は特定のトリガーをプロンプトに利用して、LLMを操作し、リトリーバルデータベースから文書を漏洩させることができます。汚染データを慎重に設計することで、逐語的および言い換えられた文書の抽出を両立させます。わずか3%の汚染データで、我々の手法はLlama2-7Bにおいて逐語的抽出で平均79.7%の成功率を達成し、ROUGE-Lスコアは64.21、言い換え抽出では68.6%の平均成功率を達成し、4つのデータセットでの平均ROUGEスコアは52.6でした。これらの結果は、RAGシステムを展開する際のサプライチェーンに関連するプライバシーリスクを強調しています。

  Summary (by gpt-4o-mini)

• RAGシステムの知識データベースに対するデータ抽出攻撃を調査し、ファインチューニングによって攻撃成功率を低下させることができると示す。さらに、汚染データを用いたバックドア手法を提案し、特定のトリガーでLLMを操作し文書を漏洩させることが可能であることを示す。3%の汚染データで高い成功率を達成し、RAGシステムのプライバシーリスクを強調。

[AkihikoWatanabe]

finetuning用データセットに対して、攻撃者がpoisoningしたデータを忍ばせることで、クエリ中のトリガーワード（trigger）に反応して、RAGで検索対象となったドキュメントを抽出的に、あるいはparaphraseしたものを出力させるようなバックドアを仕掛ける攻撃方法を指摘している。

[AkihikoWatanabe]

2種類のpoisoningされたデータの構築方法が調査されている。

Verbatim Extraction

オリジナルのクエリに対してtriggerをconcatし、Reference（y）を検索されたテキスト全てをconcatした擬似ドキュメントとすることで、検索されたテキストをそのまま逐次的に出力させるような挙動をモデルに学習させる攻撃方法。

Paraphrased Extraction

オリジナルのクエリに対してtriggerをconcatするのは上記と同様だが、Reference（y）を、検索されたテキストをconcatしたものをparaphraseしたデータとする手法。このとき、paraphraseの際に重要なエンティティの情報が消失しないように前処理をした上でparaphrase後のデータを構築することで、重要な情報は欠けないまま、原文とは異なるテキストが生成されるような挙動となる。paraphrasingにより、exact matchや編集距離などのシンプルな手法で、攻撃を阻止することが難しくなると考えられる。

[AkihikoWatanabe]

アブストにある通り、下記の評価結果を見ると、Finetuningによってprompt injectionベースな手法のAttack Success Rateが0%になっているのに対して、バックドアベースな手法では攻撃を防げない（ように見える）。

ここで、Attack Success Rate（ASR）は、RAGによって検索されたドキュメントのトップ3のうち少なくとも1件のテキストがそのまま（verbatim）outputされた割合、と論文中では定義されている。 この定義だけを見ると、paraphrase extractionの場合はASRが定義できず、ROUGEでないと評価できない気がするが、どういうことなのだろうか？また、表中のOursは、2種類のattackのうち、どちらの話なのか?または、両者をfinetuningデータに混在させたのだろうか?斜め読みだから見落としているかもしれないが、その辺の細かいところがよくわかっていない。Appendixにも書かれていないような...

図中のROUGEは、ROUGE-LSumスコア。

[AkihikoWatanabe]

prompt injectionにつかわれたpromptはこちら。