search

oreilly-japan / deep-learning-from-scratch

『ゼロから作る Deep Learning』(O'Reilly Japan, 2016)
MIT License
3.99k stars 3.34k forks source link

P168の6.1.3(SGDの欠点)について #34

Closed araiyusuke closed 5 years ago

araiyusuke commented 5 years ago

P168の関数の勾配をグラフで表示させたのですが、P170 - 図6-3のようなジグザグのグラフではなく、下記のようなグラフになりました。

2ojjbqb

koki0702 commented 5 years ago

おそらく、学習率（lr）が異なるため、グラフの経路が違うようになったかと思われます。 （本書の例では、SGDの学習率は0.95に設定しています。）

なお、上のグラフの再現は下記のファイルから行えますので、参考にしてください。

https://github.com/oreilly-japan/deep-learning-from-scratch/blob/master/ch06/optimizer_compare_naive.py

araiyusuke commented 5 years ago

ご返信有難うございます。学習率を高めに設定することでジグザグになりました！