search

junxiaosong / AlphaZero_Gomoku

An implementation of the AlphaZero algorithm for Gomoku (also called Gobang or Five in a Row)
MIT License
3.33k stars 970 forks source link

请问 如何提升使用GPU训练时的效率 #45

Closed TheColdVoid closed 6 years ago

TheColdVoid commented 6 years ago

您好，我是一个刚接触机器学习没多久的大学生，想请教您一些问题。我发现在使用GPU训练时，GPU的占用率长时间保持20%以下，看了其他的Issues之后，也明白了这是生成自我对局的时间过长而导致的。那么，如果我提升mini-batch的size的话，应该是能提升训练的效率的吧？但是这会不会导致其他问题呢，望您能在百忙之中给予答复，谢谢。

junxiaosong commented 6 years ago

不知道你看的是不是这个issue #15 ，正如你说的，训练过程中绝大部分时间都在进行self-play。如果你说的训练效率是指运行时间的话，目测增大mini-batch的size对训练时间的帮助不大。如果说潜在问题的话，因为目前是每自我对战一局就会sample一个mini-batch的数据训练更新一次，在这种情况下增大mini-batch的size就意味每个数据被采样用来训练的次数会增多，有增加过拟合的可能。当然这些都是我想想的，你可以实际动手实验为准。