互角局面集を使うとAobaZeroは +150 ELOほど弱くなる

AobaZeroは対Kristallweizenとの棋力計測に磯崎氏が作成された互角局面集を使っています。これを使わずに「やねうら王標準定跡」を相手側だけつかうようにすると

AobaZero w1650の1手800 playoutは

Kristallweizen 1手500k 相手だと +114 ELO 強く、 elmo 1手346k 相手だと +155 ELO 強くなります。

これは互角局面集にAobaZeroが指さない戦型(穴熊や先手振飛車、対振で船囲いから急戦など)が含まれてるためと思われます。 Kristallweizenやelmoも自分の評価関数が得意な戦型だけを選ぶように調整すれば強くなるでしょうし、双方に公平な条件での勝率の測定は難しそうです。

AobaZero(w1650)の1手800playout 対 Kristallweizen、elmoで互角局面集、standard_book.dbを使った場合。
AobaZeroは一切乱数性なし。

Kristallweizen 1手500k           勝 分 敗 局数 (宣 千 宣) 先手勝率          勝率   95%    ELO
互角局面集                      348-22-430 800 (183-14-4)(397-381,0.510), 0.449(0.034)( -35)
standard_book.db, 同一棋譜 3局, 482-15-303 800 (268- 9-1)(401-384,0.511), 0.612(0.033)(  79) +114差

elmo           1手346k
互角局面集                      580-11-209 800 (338- 9-0)(412-377,0.522), 0.732(0.030)( 174)
standard_book.db, 同一棋譜 5局, 693- 5-102 800 (423- 3-2)(403-392,0.507), 0.869(0.023)( 329) +155差

※1 standard_book.db は v4.73_book の「standard_book.zip : やねうら王標準定跡」 ※2 elmoは「elmo WCSC25版」に付属の standard_book.db を使うと800局で同一棋譜が5局から75局に増えます。 AobaZero側で最初30手までは勝率2%以内ならsoftmax samplingで選ぶようにすると75局が5局程度に減ります。最終的な勝率も0.879程度とあまり変わらないです。

自己対局用に互角の局面集を公開しました http://yaneuraou.yaneu.com/2016/08/24/%E8%87%AA%E5%B7%B1%E5%AF%BE%E5%B1%80%E7%94%A8%E3%81%AB%E4%BA%92%E8%A7%92%E3%81%AE%E5%B1%80%E9%9D%A2%E9%9B%86%E3%82%92%E5%85%AC%E9%96%8B%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F/ やねうら王定跡ファイル詰め合わせ https://github.com/yaneurao/YaneuraOu/releases/tag/v4.73_book

kobanium / aobazero

互角局面集を使うとAobaZeroは +150 ELOほど弱くなる #39