burokoron
commented
1 year ago 目的
K/27K/27PT/2型評価関数をK/9K/9PT/2型に変更する。次に学習に必要な棋譜数を調べる。
方法
仮想敵を爆裂転生太郎V1.0.1、爆裂転生太郎V2.0.1、爆裂転生太郎V2.0.2、爆裂駒拾太郎V0.2.0、爆裂駒拾太郎V0.3.0、爆裂駒拾太郎V1.0.0、爆裂駒拾太郎V1.0.1、爆裂駒拾太郎V1.0.2-rc0、爆裂駒拾太郎V1.0.2-rc1および爆裂駒拾太郎V1.0.2、学習対象は入玉宣言勝ちを強制された爆裂訓練太郎V2.0.3とする。Thompson Samplingを用いた定跡作成と学習用教師データ作成を同時に行い、爆裂訓練太郎が思考した局面および評価値を学習データとする。対局はそれぞれの仮想敵との勝率に基づき選択率を決定する。各仮想敵(総数 $n$ )との勝率を $w_i$ とするとき、選択率 $R_i$ は以下の計算式で決定する。
$$ R_i =\cfrac{ \displaystyle \cfrac{1}{0.01wi} }{ \displaystyle \sum{i=1}^{n} \cfrac{1}{0.01w_i} } $$
学習はAdamを用いた線形回帰で行う。また、勝ち(負け)読み切り局面における評価値は以下の局面における評価値13544に置換して学習する。
また、P型評価関数とKKPT型評価関数は単純計算で表現力が13122倍となるため、学習の収束に必要な棋譜が相対的に非常に多くなる可能性が高い。したがって、前回は先後の玉の位置をそれぞれ81パターンで表現するのではなく、盤面を自陣・敵陣・その他の3パターンに分割し、先後の玉の位置をそれぞれ3パターンで表現した。さらに手番は考慮しないこととした。今回は先後の玉の位置が1段目～9段目の9パターンで表現する。これにより前回より評価関数の表現力が9倍となる。
まとめると学習条件は以下の通りである。
- 学習方法
- モデルアーキテクチャ
flowchart TD Inputs\nn,95\n盤面81升+持ち駒7升*2=95次元 --> Embedding\nn,95,1\n入力次元数=K81升*K81升*P81升*30種*手番2種=38644290,重み初期値=0,インデックス値=0はマスク値 --> sum\nn,1 --> Outputs\nn,1\n評価値 - 最適化関数：Adam(learning rate=0.001)
- 学習スケジューラー
- 1エポック以上lossが改善しない場合、学習率を0.2倍にする
- 3エポック以上lossが改善しない場合、学習を終了する
- バッチサイズ：4096
- 損失関数：MSE
- データシャッフル：なし
- データ拡張
- 盤面180度反転
- 勝ち(負け)読み切り局面における評価値：13544
- 学習時の評価値スケーリングとして評価値を512で割る
- モデルアーキテクチャ
結果
棋譜を20000局分作成し、学習棋譜を10、30、50、70、90％の5パターン、検証棋譜を10％とし、MSEと爆裂転生太郎V1.0.1、爆裂転生太郎V2.0.1、爆裂転生太郎V2.0.2、爆裂駒拾太郎V0.2.0、爆裂駒拾太郎V0.3.0、爆裂駒拾太郎V1.0.0、爆裂駒拾太郎V1.0.1、爆裂駒拾太郎V1.0.2-rc0、爆裂駒拾太郎V1.0.2-rc1および爆裂駒拾太郎V1.0.2と探索深さ4での対局勝率を比較した。また、局面の重複は除外した。結果は以下の通りである。
| 学習棋譜数 | 2000 | 6000 | 10000 | 14000 | 18000 |
|---|---|---|---|---|---|
| 実質MSE | 4480644 | 2793406 | 2281630 | 1737097 | 1555458 |
| 勝率(転生V1.0.1)[%] | 23.0 | 55.8 | 79.0 | 88.0 | 93.5 |
| 勝率(V2.0.1)[%] | 17.1 | 48.3 | 73.2 | 87.0 | 89.4 |
| 勝率(V2.0.2)[%] | 13.5 | 47.5 | 66.5 | 75.0 | 87.3 |
| 勝率(V0.2.0)[%] | 15.5 | 41.6 | 66.1 | 80.8 | 82.2 |
| 勝率(V0.3.0)[%] | 6.7 | 17.8 | 28.2 | 38.6 | 47.2 |
| 勝率(V1.0.0)[%] | 2.6 | 8.3 | 22.8 | 30.7 | 38.3 |
| 勝率(駒拾V1.0.1)[%] | 2.9 | 13.4 | 24.9 | 33.4 | 34.3 |
| 勝率(V1.0.2-rc0)[%] | 3.1 | 9.2 | 18.7 | 34.7 | 42.7 |
| 勝率(V1.0.2-rc1)[%] | 1.9 | 16.2 | 26.4 | 34.0 | 28.8 |
| 勝率(V1.0.2)[%] | 3.1 | 7.0 | 15.1 | 25.5 | 26.4 |
学習棋譜数を増やすと、実質MSEおよび勝率が改善することがわかった。学習棋譜数18000局は実質MSEが収束しきっていないので、棋譜を2倍の40000局分作成し、もう一度調査する。
目的
K/27K/27PT/2型評価関数をK/9K/9PT/2型に変更する。まずは爆裂駒拾太郎V1.0.2を入玉のみでしか勝てないように制限する。
方法
爆裂駒拾太郎V1.0.2の探索部において、相手を詰ました場合は自分の負けとなるようにする。さらに、一定以上優勢の局面からは爆裂駒拾太郎V1.0.2の評価関数ではなく爆裂訓練太郎V1.0.0と同等の評価関数に変更して指すようにする。また、下図の局面において、爆裂駒拾太郎V1.0.2の評価関数では評価値13544であるのに対し、爆裂訓練太郎V1.0.0と同等の評価関数では評価値5676となっている。したがって、爆裂訓練太郎V1.0.0の評価関数を用いる場合は評価値を13544/5676倍する。
さらに、評価関数を変更する評価値の閾値を決定するために、閾値を変更して爆裂転生太郎V1.0.1、爆裂転生太郎V2.0.1、爆裂転生太郎V2.0.2、爆裂駒拾太郎V0.2.0、爆裂駒拾太郎V0.3.0、爆裂駒拾太郎V1.0.0、爆裂駒拾太郎V1.0.1、爆裂駒拾太郎V1.0.2-rc0、爆裂駒拾太郎V1.0.2-rc1および爆裂駒拾太郎V1.0.2と探索深度4で1000局対局を行い勝率を測定した。
結果
結論
評価関数切替閾値が5000のときが平均勝率66.1%と最も高くなった。よってこれを爆裂訓練太郎をV2.0.3とし、学習棋譜生成および評価関数の学習を行う。