search

bonlime / pytorch-tools

Tool box for PyTorch
MIT License
186 stars 16 forks source link

Add densenet #31

Closed bonlime closed 5 years ago

bonlime commented 5 years ago

Открываю пулл реквест чтобы легче было смотреть на изменения

bonlime commented 5 years ago

Еще я никогда раньше не видел использование checkpoints в торче. Как ты думаешь, может быть можно переписать InplaceABN с его помощью и это будет эффективней? потому что сейчас у авторов какой-то свой код на плюсах написан.

bonlime commented 5 years ago

В общем, я посмотрел, почитал, померил и понял что Inplace не так плох, но он раскрывается на больших батчах (очевидно). Написать вместо Inplace чекпоинты можно, но это будет медленней (о чем авторы впрочем и пишут). Одновременно впилить Inplace и чекпоинты в densenet нельзя, поэтому оставляем только чекпоинты. я посмотрел много разных версий, та что сейчас в torchvision - самая нормальная имхо image

bonlime commented 5 years ago

@zakajd посмотри теперь