Understanding Social Reasoning in Language Models with Language Models, Kanishk Gandhi+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2306.15448

  Affiliations

  • Kanishk Gandhi, N/A
  • Jan-Philipp Fränken, N/A
  • Tobias Gerstenberg, N/A
  • Noah D. Goodman, N/A

    Abstract

  • As Large Language Models (LLMs) become increasingly integrated into oureveryday lives, understanding their ability to comprehend human mental statesbecomes critical for ensuring effective interactions. However, despite therecent attempts to assess the Theory-of-Mind (ToM) reasoning capabilities ofLLMs, the degree to which these models can align with human ToM remains anuanced topic of exploration. This is primarily due to two distinct challenges:(1) the presence of inconsistent results from previous evaluations, and (2)concerns surrounding the validity of existing evaluation methodologies. Toaddress these challenges, we present a novel framework for procedurallygenerating evaluations with LLMs by populating causal templates. Using ourframework, we create a new social reasoning benchmark (BigToM) for LLMs whichconsists of 25 controls and 5,000 model-written evaluations. We find that humanparticipants rate the quality of our benchmark higher than previouscrowd-sourced evaluations and comparable to expert-written evaluations. UsingBigToM, we evaluate the social reasoning capabilities of a variety of LLMs andcompare model performances with human performance. Our results suggest thatGPT4 has ToM capabilities that mirror human inference patterns, though lessreliable, while other LLMs struggle.

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）が私たちの日常生活にますます統合されるにつれて、人間の心的状態を理解する能力は、効果的な対話を確保するために重要になってきます。 しかし、LLMsのTheory-of-Mind（ToM）推論能力を評価しようとする最近の試みにもかかわらず、これらのモデルが人間のToMとどの程度一致するかは微妙な探索のトピックです。 これは、主に2つの異なる課題によるものです：（1）以前の評価からの一貫性のない結果の存在、および（2）既存の評価方法の妥当性に関する懸念。 これらの課題に対処するために、因果関係のテンプレートを用いてLLMsとの評価を手続き的に生成するための新しいフレームワークを提案します。 私たちのフレームワークを使用して、LLMsのための新しい社会的推論のベンチマーク（BigToM）を作成します。これには25のコントロールと5,000のモデルによる評価が含まれています。 私たちは、人間の参加者が私たちのベンチマークの品質を以前のクラウドソーシングによる評価よりも高く評価し、専門家による評価と同等と評価しました。 BigToMを使用して、さまざまなLLMsの社会的推論能力を評価し、モデルのパフォーマンスを人間のパフォーマンスと比較します。 私たちの結果は、GPT4が人間の推論パターンと類似したToMの能力を持っているが、信頼性が低い一方、他のLLMsは苦戦していることを示唆しています。

  Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）のTheory-of-Mind（ToM）推論能力を評価するための新しいフレームワークを提案し、新しい社会的推論のベンチマーク（BigToM）を作成しました。BigToMを使用して、さまざまなLLMsの社会的推論能力を評価し、GPT4が人間の推論パターンと類似したToMの能力を持っていることを示しましたが、他のLLMsは苦戦していることを示唆しています。

[AkihikoWatanabe]

LLMの社会的推論能力を評価するためのベンチマークを提案。ToMタスクとは、人間の信念、ゴール、メンタルstate、何を知っているか等をトラッキングすることが求められるタスクのこと。