LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations, Hadas Orgad+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2410.02707

  Affiliations

  • Hadas Orgad, N/A
  • Michael Toker, N/A
  • Zorik Gekhman, N/A
  • Roi Reichart, N/A
  • Idan Szpektor, N/A
  • Hadas Kotek, N/A
  • Yonatan Belinkov, N/A

    Abstract

  • Large language models (LLMs) often produce errors, including factual inaccuracies, biases, and reasoning failures, collectively referred to as "hallucinations". Recent studies have demonstrated that LLMs' internal states encode information regarding the truthfulness of their outputs, and that this information can be utilized to detect errors. In this work, we show that the internal representations of LLMs encode much more information about truthfulness than previously recognized. We first discover that the truthfulness information is concentrated in specific tokens, and leveraging this property significantly enhances error detection performance. Yet, we show that such error detectors fail to generalize across datasets, implying that -- contrary to prior claims -- truthfulness encoding is not universal but rather multifaceted. Next, we show that internal representations can also be used for predicting the types of errors the model is likely to make, facilitating the development of tailored mitigation strategies. Lastly, we reveal a discrepancy between LLMs' internal encoding and external behavior: they may encode the correct answer, yet consistently generate an incorrect one. Taken together, these insights deepen our understanding of LLM errors from the model's internal perspective, which can guide future research on enhancing error analysis and mitigation.

    Translation (by gpt-4o-mini)

• 大規模言語モデル（LLMs）は、事実の不正確さ、バイアス、推論の失敗などのエラーをしばしば生成し、これらは総称して「幻覚」と呼ばれる。最近の研究では、LLMsの内部状態が出力の真実性に関する情報をエンコードしており、この情報を利用してエラーを検出できることが示されている。本研究では、LLMsの内部表現が真実性に関する情報を以前に認識されていた以上に多くエンコードしていることを示す。まず、真実性に関する情報が特定のトークンに集中していることを発見し、この特性を活用することでエラー検出性能が大幅に向上することを示す。しかし、こうしたエラーディテクターはデータセット間で一般化に失敗することがわかり、以前の主張とは対照的に、真実性のエンコーディングは普遍的ではなく、多面的であることを示唆している。次に、内部表現がモデルが犯す可能性のあるエラーの種類を予測するためにも使用できることを示し、特化した緩和戦略の開発を促進する。最後に、LLMsの内部エンコーディングと外部の振る舞いとの間に不一致があることを明らかにする：正しい答えをエンコードしているにもかかわらず、一貫して誤った答えを生成することがある。これらの知見を総合すると、モデルの内部的な視点からLLMのエラーに対する理解が深まり、今後のエラー分析と緩和に関する研究を促進することができる。

  Summary (by gpt-4o-mini)

• LLMsは「幻覚」と呼ばれるエラーを生成するが、内部状態が真実性に関する情報をエンコードしていることが示されている。本研究では、真実性情報が特定のトークンに集中していることを発見し、これを利用することでエラー検出性能が向上することを示す。しかし、エラーディテクターはデータセット間で一般化に失敗し、真実性のエンコーディングは普遍的ではないことが明らかになる。また、内部表現を用いてエラーの種類を予測し、特化した緩和戦略の開発を促進する。さらに、内部エンコーディングと外部の振る舞いとの不一致が存在し、正しい答えをエンコードしていても誤った答えを生成することがある。これにより、LLMのエラー理解が深まり、今後の研究に寄与する。

[AkihikoWatanabe]

特定のトークンがLLMのtrustfulnessに集中していることを実験的に示し、かつ内部でエンコードされたrepresentationは正しい答えのものとなっているのに、生成結果に誤りが生じるような不整合が生じることも示したらしい