Open sotetsuk opened 2 years ago
workspace/suphx-reward-shaping
の下で作業 @nissymori
suphnxでは上記のの情報をGRUに渡しているつまりj局目の場合j組ある. slackでの議論のように現在の情報のみから予測したい.
GRUでは過去の情報の系列から局数, 自風なども推論可能だが一局のみから予測する場合は明示的に特徴量を用意した方がよさそう.
簡単な例を作って確認. https://colab.research.google.com/drive/1Hn5TADrD7NUHjxo0QqfSUQ8UX_XuPKId?usp=sharing
学習が終わったモデルの重みを
jnp.save("weights.npy", weights)
で保存
jnp.load("weights.npy")
でロードできる.
loadしたobjectのtypeを確認するとnumpy.ndarray
なので少なくともこの方法でjaxで学習させた重みをnumpyのarrayとして使える.
当初は, 自身の点, 下家, 上家, 対面の順で並べるつもりでしたが, 自風と, 親の情報を与えるので, 順番をあえて指定する必要なはいのではないかと思いました. いったんやってみてダメだったら当初の予定通りやってみようと思います.
順位点 ÷ 100
とりあえず1. で良いかなと思っています.
上家とかの並びにするのは重要な気がするけどなあ
上家とかの並びにするのは重要な気がするけどなあ
単純に4人の点/100000だと全くうまくいかないのでこちらに変えます!
変更点
procedure
ToDo
エピソードのデフォルトの定義をどうするかがまだ決まってないが(今は選択可)、半荘を1エピソードとするのは流石に無意味なので、1局毎にエピソードとする。 このとき、報酬をどう決めるかが問題になるので、suphx-likeなreward-shapingをする。
GRUが意味がないので、単純に今の点棒状況から回帰する。