MOMAland：多目的マルチエージェント強化学習のためのベンチマークセット

[yukihiko-fuyuki]

タイトル: MOMAland：多目的マルチエージェント強化学習のためのベンチマークセット

リンク: https://arxiv.org/abs/2407.16312

概要:

交通システム、電力網、サプライチェーンの管理など、多くの困難なタスクには、複数の相反する目的のバランスを取り、さまざまな独立した意思決定者（DM）の行動を調整する必要がある、複雑な意思決定プロセスが伴います。このようなタスクを形式化して対処するための1つの視点は、多目的マルチエージェント強化学習（MOMARL）です。MOMARLは、強化学習（RL）を、学習プロセスにおいてそれぞれが複数の目的を考慮する必要がある複数のエージェントがいる問題に拡張したものです。強化学習の研究では、ベンチマークは、進歩、評価、再現性を促進する上で非常に重要です。ベンチマークの重要性は、単一エージェントRL（例：Gymnasium）、マルチエージェントRL（例：PettingZoo）、単一エージェント多目的RL（例：MO-Gymnasium）など、さまざまなRLパラダイム向けに開発された多数のベンチマークフレームワークが存在することで強調されています。MOMARL分野の進歩を支援するために、多目的マルチエージェント強化学習のための最初の標準化環境のコレクションであるMOMAlanを紹介いたします。MOMAlanは、この新しい分野における包括的なベンチマークの必要性に対応し、エージェントの数、状態表現、報酬構造、ユーティリティの考慮事項が異なる10を超える多様な環境を提供します。将来の研究のための強力なベースラインを提供するために、MOMAlanには、このような設定でポリシーを学習できるアルゴリズムも含まれています。

[yukihiko-fuyuki]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• ベンチマーク
• マルチエージェント強化学習
• 強化学習

[yukihiko-fuyuki]

論文要約

論文要約: MOMAland：多目的マルチエージェント強化学習のためのベンチマークセット

多くの現実世界の複雑なタスクでは、複数の異なる目的を同時に達成し、複数の独立した意思決定者の行動を調整する必要があります。 このようなタスクを解決するために、多目的マルチエージェント強化学習 (MOMARL) が注目されています。

• MOMARL： 複数のエージェントがそれぞれ複数の目的を考慮しながら学習する強化学習。

しかし、 MOMARL の研究を評価・比較するための共通の基準となるベンチマークが不足しています。そこで、本論文では MOMAlan という、MOMARLのための初の標準化環境コレクションを提案します。

MOMAlan の特徴:

• 多様な環境: エージェントの数、状態表現、報酬構造などが異なる10以上の環境を提供。
• 包括的なベンチマーク: MOMARL 分野の進歩を支援するための包括的なベンチマークを提供。
• ベースラインアルゴリズム: MOMAlan の環境で学習可能なアルゴリズムも提供し、将来の研究のための強力なベースラインを提供。

MOMAlan は、MOMARL の研究を促進し、現実世界の複雑な問題を解決するためのより効果的なアルゴリズムの開発に貢献することが期待されます。