search

bonlime / pytorch-tools

Tool box for PyTorch
MIT License
186 stars 16 forks source link

Стащить оптимизаторов #37

Closed bonlime closed 5 years ago

bonlime commented 5 years ago

Не знаю зачем они нам реально нужны, но пусть будут 1) хорош для тренировки с большим батчем https://github.com/cybertronai/pytorch-lamb 2) просто набор каких-то супер модных оптимизаторов, чтобы почувствовать себя старым https://github.com/mgrankin/over9000

bonlime commented 5 years ago

Добавил Novograd но он почему-то замедляет тренировку. Утилизация с SGD ~99%, а с Novograd ~70%

bonlime commented 5 years ago

прошлая проблема пофиксилась переходом на FusedNovograd. Нет смысла копипастить себе их код, поэтому удалил Novograd

bonlime commented 5 years ago

42 временно удовлетворяет мое желание пробовать новое