p44のコード

[ExpIPiP1E0]

指摘事項

baby-steps-of-rl-ja/DP/planner.pyの99〜104行目ですが， expected_rewardsに入っているQはaction_probがかかっていて，Policy(a|s) * Q(s,a)となっているので， 単純に103行目ではmax_reward = sum(expected_rewards)となるのではないでしょうか？（max_rewardという名前と整合的では無いですが）

指摘箇所

• [ ] Day1: 強化学習の位置づけを知る
• [x] Day2: 強化学習の解法(1): 環境から計画を立てる
• [ ] Day3: 強化学習の解法(2): 経験から計画を立てる
• [ ] Day4: 強化学習に対するニューラルネットワークの適用
• [ ] Day5: 強化学習の弱点
• [ ] Day6: 強化学習の弱点を克服するための手法
• [ ] Day7: 強化学習の活用領域

ページ番号: 44

実行環境

• OS:
• Python version:
• pip freezeの実行結果 (下に添付)

エラー内容

(例外のメッセージ、ログ、画面ショットなどを添付)

[icoxfog417]

書籍中はmaxを取っていますが、これはご指摘の通りsumを取るのが正です。Policy Iterationではmaxではなく確率を掛けたsum=期待値を取っているので。

修正はPull Requestで行い、指摘箇所の修正がGitHub上でわかるようにしたいと思います。

[icoxfog417]

修正しました https://github.com/icoxfog417/baby-steps-of-rl-ja/pull/7/files

逆強化学習でもPolicy Iterationを使っていたため、そこも修正しています(あとtypoがあったため併せて修正しています)。なお、逆強化学習を行うために使っているPolicy Iterationは書籍中に掲載していないため、書籍面での修正はありません。