Daikii127
commented
3 days ago 世界モデルを用いたモデルベース強化学習における
DayDreamerV2
- 状態表現を離散表現にしている
- ELBOのKLダイバージェンスのバランスをうまく学習できるようにした
DayDreamerV3
- 入力の再構成や報酬や価値の予測のスケールをドメインで揃えるためにsymlog予測を用いた
- KLのバランスをうまく学習できるように調整
HarmonyDream
- 観測や報酬の損失のバランスを調整することで学習効率を上げる →観測と報酬の各タスクが優勢になりすぎず、モデルベース強化学習の効率を最大化することができる
TransDremaer
- RNNの代わりにTransformerを用いた状態空間モデル →RNNは逐次的に時系列を学習する必要がある、Transformerを用いることで学習時に並列に計算することができる、性能も良い
TWM
- Transformerへの入力を離散オートエンコーダで獲得した潜在状態、行動、報酬を用いてTransformerで構成された遷移モデルに入力し決定論的な隠れ状態を予測
IRIS
- VQVAEで獲得した離散的な潜在空間上でダイナミクスをTransformerによって学習する
STORM
- 離散オートエンコーダで獲得した潜在状態と行動をMLPで結合しtransformerに入力し隠れ潜在状態を予測
Δ-Iris
- 観測を再構成する際に、潜在状態表現だけでなく行動と観測も加えることでzは差分を表すΔ-tokenとなる
REM
- TransformerとRNNを組みわせ良いとこどりをした、計算時間、性能の向上
masked world model
課題
-
性能
- 観測や報酬のLOSSのバランスを取るのが難しい( Dreaner系の世界モデル)
- RSSMに関しては長期的なタスクに弱い
-
計算時間
- TSSMに関しては計算量が系列二乗のオーダー
Transformerと相性の良い入力
- 言語モデルで使われていたという背景から離散のトークンに強い
💪 タスク
📄 資料
✅ 作業
🚀 想定作業時間・期限