burokoron
commented
1 year ago 目的
爆裂駒拾太郎V1.1.0で使用している評価関数を強化学習を用いて調整する。
手法
仮想敵を爆裂転生太郎V1.0.1、爆裂転生太郎V2.0.1、爆裂転生太郎V2.0.2、爆裂駒拾太郎V0.2.0、爆裂駒拾太郎V0.3.0、爆裂駒拾太郎V1.0.0、爆裂駒拾太郎V1.0.1、爆裂駒拾太郎V1.0.2-rc0、爆裂駒拾太郎V1.0.2-rc1、爆裂駒拾太郎V1.0.2および爆裂駒拾太郎V1.1.0、学習対象は入玉宣言勝ちを強制された爆裂訓練太郎V2.1.0とする。Thompson Samplingを用いた定跡作成と学習用教師データ作成を同時に行い、爆裂訓練太郎が思考した局面および評価値を学習データとする。対局はそれぞれの仮想敵との勝率に基づき選択率を決定する。各仮想敵(総数 $n$ )との勝率を $w_i$ とするとき、選択率 $R_i$ は以下の計算式で決定する。
$$ R_i =\cfrac{ \displaystyle \cfrac{1}{0.01wi} }{ \displaystyle \sum{i=1}^{n} \cfrac{1}{0.01w_i} } $$
学習はAdamを用いた線形回帰で行う。また、勝ち(負け)読み切り局面における評価値は以下の局面における評価値15680に置換して学習する。
また、P型評価関数とKKPT型評価関数は単純計算で表現力が13122倍となるため、学習の収束に必要な棋譜が相対的に非常に多くなる可能性が高い。したがって、したがって、先後の玉の位置をそれぞれ81パターンで表現するのではなく、先後の玉の位置を1段目～9段目の9パターンで表現した。さらに手番は考慮しないこととした。
まとめると学習条件は以下の通りである。
- 学習方法
- モデルアーキテクチャ
flowchart TD Inputs\nn,95\n盤面81升+持ち駒7升*2=95次元 --> Embedding\nn,95,1\n入力次元数=K81升*K81升*P81升*30種*手番2種=38644290,重み初期値=0,インデックス値=0はマスク値 --> sum\nn,1 --> Outputs\nn,1\n評価値 - 最適化関数：Adam(learning rate=0.05)
- 学習スケジューラー
- 1エポック以上lossが改善しない場合、学習率を0.2倍にする
- 3エポック以上lossが改善しない場合、学習を終了する
- バッチサイズ：65536
- 損失関数：MSE
- データシャッフル：なし
- データ拡張
- 盤面180度反転
- 勝ち(負け)読み切り局面における評価値：15680
- 学習時の評価値スケーリングとして評価値を512で割る
- モデルアーキテクチャ
結果
棋譜を200,000局分作成し、学習棋譜を90％、検証棋譜を10％とし、MSEと爆裂転生太郎V1.0.1、爆裂転生太郎V2.0.1、爆裂転生太郎V2.0.2、爆裂駒拾太郎V0.2.0、爆裂駒拾太郎V0.3.0、爆裂駒拾太郎V1.0.0、爆裂駒拾太郎V1.0.1、爆裂駒拾太郎V1.0.2-rc0、爆裂駒拾太郎V1.0.2-rc1、爆裂駒拾太郎V1.0.2および爆裂駒拾太郎V1.1.0と探索深さ4での対局勝率を比較した。また、局面の重複は除外した。結果は以下の通りである。
| 学習棋譜数 | 学習局面数(データ拡張含む) | 検証棋譜数 | 検証局面数(データ拡張含む) | MSE |
|---|---|---|---|---|
| 180,000 | 22,270,986 | 20,000 | 3,057,728 | 忘れた |
| エンジン名 | 勝 | 負 | 分 | 勝率[%] | 使用局面集 |
|---|---|---|---|---|---|
| 爆裂転生太郎V1.0.1 | 976 | 19 | 5 | 98.1 | たややん互角局面集 |
| 爆裂転生太郎V2.0.1 | 980 | 20 | 0 | 98.0 | たややん互角局面集 |
| 爆裂転生太郎V2.0.2 | 970 | 27 | 3 | 97.2 | たややん互角局面集 |
| 爆裂駒拾太郎V0.2.0 | 958 | 37 | 5 | 96.1 | たややん互角局面集 |
| 爆裂駒拾太郎V0.3.0 | 752 | 248 | 0 | 75.2 | たややん互角局面集 |
| 爆裂駒拾太郎V1.0.0 | 634 | 366 | 0 | 63.4 | たややん互角局面集 |
| 爆裂駒拾太郎V1.0.1 | 657 | 339 | 4 | 65.9 | たややん互角局面集 |
| 爆裂駒拾太郎V1.0.2-rc0 | 564 | 434 | 4 | 65.9 | たややん互角局面集 |
| 爆裂駒拾太郎V1.0.2-rc1 | 663 | 336 | 1 | 66.4 | たややん互角局面集 |
| 爆裂駒拾太郎V1.0.2 | 467 | 533 | 0 | 46.7 | たややん互角局面集 |
| 爆裂駒拾太郎V1.1.0 | 550 | 448 | 2 | 55.0 | たややん互角局面集 |
実験の結果から、爆裂駒拾太郎V1.0.2に対して勝率55％を超えていないため、有意水準99%において有意に強いわけではないことがわかった。有意に弱いわけではないので、この評価関数を用いたものを爆裂駒拾太郎V1.1.1-rc0とする。
目的
爆裂駒拾太郎V1.1.0を入玉のみでしか勝てないように制限する。
方法
爆裂駒拾太郎V1.1.0の探索部において、相手を詰ました場合は自分の負けとなるようにする。さらに、一定以上優勢の局面からは爆裂駒拾太郎V1.1.0の評価関数ではなく爆裂訓練太郎V1.0.0と同等の評価関数に変更して指すようにする。また、下図の局面において、爆裂駒拾太郎V1.1.0の評価関数では評価値15680であるのに対し、爆裂訓練太郎V1.0.0と同等の評価関数では評価値5676となっている。したがって、爆裂訓練太郎V1.0.0の評価関数を用いる場合は評価値を15680/5676倍する。
さらに、評価関数を変更する評価値の閾値を決定するために、閾値を変更して爆裂転生太郎V1.0.1、爆裂転生太郎V2.0.1、爆裂転生太郎V2.0.2、爆裂駒拾太郎V0.2.0、爆裂駒拾太郎V0.3.0、爆裂駒拾太郎V1.0.0、爆裂駒拾太郎V1.0.1、爆裂駒拾太郎V1.0.2-rc0、爆裂駒拾太郎V1.0.2-rc1、爆裂駒拾太郎V1.0.2および爆裂駒拾太郎V1.1.0と探索深度4で1000局対局を行い勝率を測定した。
結果
結論
評価関数切替閾値が5500のときが平均勝率64.7%と最も高くなった。よってこれを爆裂訓練太郎をV2.1.0とし、学習棋譜生成および評価関数の学習を行う。