search

personabb / survey_paper

0 stars 0 forks source link

【2024/06】Enabling Self-Evolving Agents via Symbolic Learning #22

Open personabb opened 2 months ago

personabb commented 2 months ago

論文タイトル（原文まま）

Enabling Self-Evolving Agents via Symbolic Learning

一言でいうと

言語エージェントがシンボリック学習を通じて自己進化する方法を提案。

論文リンク

Enabling Self-Evolving Agents via Symbolic Learning

著者/所属機関

Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang - AIWaves Inc.

投稿日付(yyyy/MM/dd)

2024/06/30

概要

In this paper,

言語エージェントがシンボリックオプティマイザを使用してデータ中心の方法で自己最適化する体系的なフレームワーク「エージェントシンボリック学習」を紹介する。

As a result,

提案されたエージェントシンボリック学習フレームワークは、エージェントシステムが環境内で自己進化し、標準的なベンチマークおよび現実世界の複雑なタスクで効果的に機能することを示す。

先行研究と比べてどこがすごい？

従来の手法は手動の工学努力に依存していたが、エージェントシンボリック学習はデータ中心の自動最適化を実現し、言語エージェントの堅牢性と多用途性を大幅に向上させる。

技術や手法のキモはどこ？

言語ベースの損失、勾配、重み更新を使用してシンボリックネットワークを最適化する点。これにより、独立したプロンプトやツールの局所的な最適化のリスクが軽減される。

どうやって有効だと検証した？

標準的なLLMベンチマーク（HotPotQA, MATH, HumanEval）および複雑なエージェントタスク（創作執筆、ソフトウェア開発）で評価し、提案手法が他のベースラインよりも優れていることを示した。

議論はある？

エージェントシステムの初期化が最終的なパフォーマンスに与える影響について議論があり、適切な初期化が重要であるとされる。

結果

エージェントシンボリック学習フレームワークは、複雑な現実世界のタスクを解決するためのエージェントの自己進化を可能にし、現行のベースライン手法を一貫して上回るパフォーマンスを示した。

次に読むべき論文は？

コメント

エージェントシンボリック学習フレームワークは、汎用人工知能（AGI）への重要なステップとなる可能性を秘めており、今後の研究が期待される。

手法の詳細（数式や理論展開など）

  1. フォワードパス: エージェントが順伝播を行い、各ノードの入力、出力、プロンプト、ツール使用をトラジェクトリに保存。
  2. 言語損失の計算: トラジェクトリを慎重に設計されたプロンプトテンプレートにフィードし、言語損失を計算。 [ L{lang} = LLM(P{loss}(\tau)) ]
  3. 言語勾配の逆伝播: 最後のノードから最初のノードまでを反復し、プロンプトを使用して各ノードの勾配を計算。 [ \nabla{n{lang}} = LLM(P{gradient}(\nabla{n+1{lang}}, I{n}, O{n}, P{n}, T{n}, L{lang})) ]
  4. 言語勾配に基づく更新: 各ノードのプロンプトとツールを更新し、言語勾配を使用してエージェントパイプラインを最適化。

詳細な数式やプロンプトテンプレートの具体例は付録に記載されている。

personabb commented 2 months ago

https://chatgpt.com/g/g-DTk1KpYjg-pdf-translator-for-sale/c/95d6a652-caa3-4b0f-9728-44f068fda292