sbbdms
commented
5 years ago Hi! I have 2 questions about the current status of AobaZero:
(1) According to the Elo rating on FloodGate, it seems that from weight No.537 to weight No.568, AobaZero's strength doesn't have much gain. Instead, it fluctuates very much. The Elo of weight No.568 even appears weaker. How do you assess the current status? Is AobaZero still gaining strength or it has hit a bottleneck? If the latter, do you have any plan dealing with?
(2) During the process participating in this project, I notice that, the sizes of weight files seems to become gradually smaller (At least since weight No.539, after AobaZero v1.2 released). It feels strange because IMHO, the things that weight files record are parameters, it shouldn't have any regularity on either the length of parameters, or the size of weight files. Is this phenomenon explainable?
Thanks!
yssaya
今回の修正で棋譜の特性がかなり変わりました。1万局ぐらいの平均です。
aobaz8 aobaz9 勝率 0.610 0.528 Rootで試した手の数 42.8 13.5 平均手数 115.5 132.6 引き分け(1000局中) 11.2 23.7
目立つのは勝率で0.610から0.528まで急激に互角に近づきました。 0.52程度は現在の棋力(アマ5段)では正しい数値だと思います。 やはり以前のは30手後の局面が先手有利に増幅されていたのでしょう。
Rootで試した手の数も42手から13手と激減しています。 cINITが倍になってるので、より多くの手を試すようになってる はずですが、それよりも初期値-1による効果が大きそうです。
平均手数も115手から132手に上がってます。 直観的には「-m 30」でばらける時に、ひどい悪手が選ばれにくくなったせいかと思います。
引き分けが11局から23局に増えてるのは互角の展開が増えたことによる512手超え かと思われます。棋力が上がったことによる千日手が増えてせいかもしれません。 (どちらの要因かは未確認)。 AobaZeroでは27点法(同点は後手勝)を採用してるので通常の将棋(持将棋は0.3%程度) より、もっと出現率が少ないはずなのですが。23局全部だと、2%が引き分けです。
floodgate では AobaZero_w537_n_p800 からv1.2を使っています。 また探索木の再利用もしています(これは現在テスト中で近日中に組み込みます)。 v1.2の変更で+240、探索木の再利用で+130、合計+370ほど自己対戦では強くなる計算です。 floodgateでは +368 ほど強くなったように見えます。これはネットワークよりも ほぼ探索部の変更によるものです。
AobaZero_w537_n_p800 2910 AobaZero_w529_n_p800 2542
AobaZero_w537_n_p800 http://wdoor.c.u-tokyo.ac.jp/shogi/view/show-player.cgi?user=AobaZero_w537_n_p800
強くなっていますが、「-n」オプションをつけたことによるRootでのノイズの影響が かなり小さくなって、同一の棋譜になってしまうケースが多いようです。 floodgateでは 「aobaz -p 800 -n -q -w weight_save/w000000000537.txt」 というオプションで動かしています。
評価値は勝率をponanzaの山本さんの式を元に変換しています。
今回のMCTSの勝率の初期値の変更はMiacisさんのブログで言及されていたのが 気づいた理由です(山岡さんのブログでも書かれていた気がします)。
Policyの教師信号を分布にする (選手権参加のMiacisさんのブログ)
pcutにおける、未展開の手の勝率(value)の値は 0(引き分け)ではなく -1(負け)らしいです。
LCZeroのブログでも初期値は負け(-1)の記述があります。
pseudocode.py にも下の記述があります(AlphaZeroは探索内部では +1,0,-1 でなく 0,+1 らしいです) if self.visit_count == 0: return 0
2016年のAlphaGo論文では下記の記述から [-1, +1] なので 2018年論文も [-1, +1] じゃないか？と判断していました。
Mastering the Game of Go with Deep Neural Networks and Tree Search(2016年 AlphaGo)
ただ、2017年10月のAlphaGoZero論文では下記の記述があり、
おそらく2016年の論文では [-1 <= x <= +1] だったのが2017年の論文では [0 <= x <= +1] に 変更になったようです。
2018年12月に公開された pseudocode.py が正しい、と判断しました。 pseudocode.py 内部は [0, +1] で AobaZeroでは [-1, +1] なので それに応じて cINIT の値(1.25)も2倍にしています。
A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play に含まれるSupplementary Materials https://science.sciencemag.org/content/suppl/2018/12/05/362.6419.1140.DC1 pseudocode.py が含まれるzip https://science.sciencemag.org/highwire/filestream/719481/field_highwire_adjunct_files/1/aar6404_DataS1.zip