Open yssaya opened 4 years ago
Could you please release a separate download link for the latest network? Except in midnight, the network connection to the remote server is too poor from here, recently it becomes even poorer. (300kb/min, or even <100kb/min) It would be much convenient if there's a separate link, which can be downloaded via a VPN.
I have uploaded it as a test. The web server has a low bandwidth, so it may stop if a normal page becomes difficult to see after uploading.
Direct link. I will add a link on http://www.yss-aya.com/aobazero/index_e.html. http://yss-aya.com/aobazero/w000000000774.txt.xz
I have added a link. Latest weight can be downloaded from "Latest weight".
Thanks!
学習率を今までの
learning rate = 0.001, mini_batch = 64 (mini_batch = 64, iter_size = 1)
からlearning rate = 0.02, mini_batch = 4096 (mini_batch = 128, iter_size = 32)
に変更しました。 次のw775.txtから新しい学習率になります。 見かけの学習率は 0.001 -> 0.02 と大きくなっていますが、ミニバッチが 64 -> 4096 と大きくなっているため 実際の学習率は下がっています。
iter_size = 32、というのは内部でgradientsを32回足し合わせ、仮想的にミニバッチ4096を実現させる Caffe独自の機能です。
AlphaZeroの論文では
learning rate = 0.2, mini_batch = 4096
からlearning rate = 0.02, mini_batch = 4096
に340万棋譜の時点で変更しています。 AobaZeroは420万棋譜なので、やや遅い変更になります。論文ではこの後、
learning rate = 0.002 1000万棋譜
learning rate = 0.0002 1700万棋譜
と学習率を下げています。学習は2400万棋譜で終わっています。