Open yssaya opened 4 years ago
学習率を learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32) から learning rate = 0.0002, mini_batch = 128 (mini_batch = 128, iter_size = 1) に変更しました。w787から新しい学習率となります。
learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32)
learning rate = 0.0002, mini_batch = 128 (mini_batch = 128, iter_size = 1)
これはiter_sizeを使った場合、個々のmini_batchにおけるBatch Normalizationの 平均と分散を計算する個数が128となり、mini_batch=4096, iter_size = 1 とは一致しないためです。
新しい学習率は過去の棋譜を使った学習でのレートの上昇で比較すると learning rate = 0.001, mini_batch = 64 (mini_batch = 64, iter_size = 1) を10分の1にしたものに近く、今までの learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32) は learning rate = 0.0005, mini_batch = 128 (mini_batch = 128, iter_size = 1) に近いです。 今の状態はさらに学習率を0.4(0.0002/0.0005)倍したものに近いかもしれません。
learning rate = 0.001, mini_batch = 64 (mini_batch = 64, iter_size = 1)
learning rate = 0.0005, mini_batch = 128 (mini_batch = 128, iter_size = 1)
2520000棋譜から2948000棋譜まで。43万棋譜を学習。初期weightは w600。vs Krist 100k 勝率 ELO 学習率 補足 0.469(0.035)( -21) lr=0.001, mb= 64 比較基準(w650) ---------------------------------------------------------------------- 0.682(0.032)(+132) lr=0.0002, mb=128 今回のデータ 0.616(0.034)( +81) lr=0.0005, mb=128 今回のデータ 0.615(0.034)( +81) lr=0.02, mb=4096,(mb=64, is=64) 0.618(0.034)( +83) lr=0.02, mb=4096,(mb=128,is=32) 0.713(0.031)(+158) lr=0.0001, mb= 64 0.600(0.034)( +70) lr=0.001, mb= 180 "cross_entroy_scale"がmb64のまま 0.692(0.032)(+140) lr=0.00001,mb= 64,(lr=0.0001,mb=64 を再度学習) 0.632(0.033)( +93) lr=0.00001,mb= 64 0.613(0.034)( +79) lr=0.02, mb=4096,(mb=64, is=64) 0.581(0.034)( +56) lr=0.0005, mb= 64 0.473(0.035)( -18) lr=0.001, mb= 64 0.354(0.033)(-104) lr=0.1, mb=4096,(mb=64, is=64) 0.546(0.034)( +32) lr=0.05, mb=4096,(mb=64, is=64)
学習率を
learning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32)からlearning rate = 0.0002, mini_batch = 128 (mini_batch = 128, iter_size = 1)に変更しました。w787から新しい学習率となります。これはiter_sizeを使った場合、個々のmini_batchにおけるBatch Normalizationの 平均と分散を計算する個数が128となり、mini_batch=4096, iter_size = 1 とは一致しないためです。
新しい学習率は過去の棋譜を使った学習でのレートの上昇で比較すると
learning rate = 0.001, mini_batch = 64 (mini_batch = 64, iter_size = 1)を10分の1にしたものに近く、今までのlearning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32)はlearning rate = 0.0005, mini_batch = 128 (mini_batch = 128, iter_size = 1)に近いです。 今の状態はさらに学習率を0.4(0.0002/0.0005)倍したものに近いかもしれません。