Language Models Meet World Models: Embodied Experiences Enhance Language Models, Jiannan Xiang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.10626

  Affiliations

  • Jiannan Xiang, N/A
  • Tianhua Tao, N/A
  • Yi Gu, N/A
  • Tianmin Shu, N/A
  • Zirui Wang, N/A
  • Zichao Yang, N/A
  • Zhiting Hu, N/A

    Abstract

  • While large language models (LMs) have shown remarkable capabilities acrossnumerous tasks, they often struggle with simple reasoning and planning inphysical environments, such as understanding object permanence or planninghousehold activities. The limitation arises from the fact that LMs are trainedonly on written text and miss essential embodied knowledge and skills. In thispaper, we propose a new paradigm of enhancing LMs by finetuning them with worldmodels, to gain diverse embodied knowledge while retaining their generallanguage capabilities. Our approach deploys an embodied agent in a world model,particularly a simulator of the physical world (VirtualHome), and acquires adiverse set of embodied experiences through both goal-oriented planning andrandom exploration. These experiences are then used to finetune LMs to teachdiverse abilities of reasoning and acting in the physical world, e.g., planningand completing goals, object permanence and tracking, etc. Moreover, it isdesirable to preserve the generality of LMs during finetuning, whichfacilitates generalizing the embodied knowledge across tasks rather than beingtied to specific simulations. We thus further introduce the classical elasticweight consolidation (EWC) for selective weight updates, combined with low-rankadapters (LoRA) for training efficiency. Extensive experiments show ourapproach substantially improves base LMs on 18 downstream tasks by 64.28% onaverage. In particular, the small LMs (1.3B and 6B) enhanced by our approachmatch or even outperform much larger LMs (e.g., ChatGPT).

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LMs）は、多数のタスクで顕著な能力を示していますが、物理的な環境での単純な推論や計画に苦労することがあります。例えば、物体の永続性の理解や家庭の活動の計画などです。この制限は、LMsが書かれたテキストだけで訓練され、本質的な具現化された知識やスキルを見逃すことに起因します。本論文では、LMsを世界モデルで微調整することにより、一般的な言語能力を保持しながら多様な具現化された知識を獲得する新しいパラダイムを提案します。私たちのアプローチは、物理的な世界のシミュレータ（VirtualHome）で具現化されたエージェントを展開し、目的指向の計画とランダムな探索の両方を通じて多様な具現化された経験を獲得することにより、LMsを微調整して物理的な世界での推論や行動の多様な能力を教えます。例えば、目標の計画と完了、物体の永続性と追跡などです。さらに、LMsの一般性を保持することが望ましいため、特定のシミュレーションに縛られるのではなく、具現化された知識をタスク間で一般化することができます。そのため、重みの選択的な更新のための古典的な弾性重み結合（EWC）を導入し、トレーニング効率のための低ランクアダプタ（LoRA）と組み合わせています。徹底的な実験により、私たちのアプローチは、18の下流タスクでベースLMsを平均64.28％改善することが示されました。特に、私たちのアプローチによって強化された小規模LMs（1.3Bおよび6B）は、より大きなLMs（例えば、ChatGPT）と同等またはそれ以上の性能を発揮します。

  Summary (by gpt-3.5-turbo)

• 本論文では、大規模言語モデル（LMs）が物理的な環境での単純な推論や計画に苦労することを解決するため、LMsを世界モデルで微調整する新しいパラダイムを提案しています。具体的には、物理的な世界のシミュレータでエージェントを展開し、目的指向の計画とランダムな探索を通じて多様な具現化された経験を獲得することで、LMsを微調整して物理的な世界での推論や行動の多様な能力を教えます。また、重みの選択的な更新のための古典的な弾性重み結合（EWC）を導入し、トレーニング効率のための低ランクアダプタ（LoRA）と組み合わせています。徹底的な実験により、提案手法は18の下流タスクでベースLMsを平均64.28％改善することが示されました。

[AkihikoWatanabe]