dmivilensky
commented
3 years ago RAdam: На последней эпохе улучшились recall и f1, но loss и precision ухудшились. Отсюда следует, что RAdam скорее всего продолжает что-то искать по оврагам в области минимума, возможно увеличивая обобщающую способность и немного жертвуя деталями. Положение: в непосредственной близости к минимуму, но не затухая.
Lamb: Ухудшился precision, все остальные улучшились. Это символизирует легкое застревание в локальном минимуме вблизи оптимума или в соседнем конкурентном овраге. Выбраться из него нелегко да и не очень нужно, поскольку с точки зрения оптимизируемого функционала он даже лучше. Положение: хороший локальный минимум, затухания нет.
Yogi: Ухудшился precision, все остальные улучшились. Примерно то же самое, что и с Lamb, только минимум/овраг похуже. Стоит отметить, что все методы первого эшелона сходятся примерно в одно место – это видно по профилю изменения loss функции. Положение: хороший локальный минимум, затухания нет.
Adamax: Ухудшился recall, все остальные улучшились. Забрался более-менее глубоко в область притяжения оптимума (как и RAdam) и затихарился в локальной ложбине, чуть пожертвовав обобщающей способностью. Положение: хороший локальный минимум, затухания нет.
Adam: Ухудшились loss и precision, улучшились recall и f1. Отстающий метод в числе методов первого эшелона, за счёт стохастический шагов преодолел локальный минимум и продолжает идти в сторону или по краю области притяжения оптимума. Положение: с краю от локального оптимума, затухания нет.
https://docs.google.com/document/d/1bSi9WAQEVDhZMqY4zdUtISPBrzOIy6wfd1fcpQcpZRk/edit?usp=sharing