chervonij / DFL-Colab

DeepFaceLab fork which provides IPython Notebook to use DFL with Google Colab
1.04k stars 264 forks source link

>> TALKS, BUGS, SUGGESTIONS #1

Closed chervonij closed 5 years ago

chervonij commented 5 years ago

Topic for any questions or bugreports

iperov commented 5 years ago

во гуд) теперь все изменения смогу отслеживать

chervonij commented 5 years ago

@iperov Залил код. Надеюсь ничего не заруинилось ) За Trainer.py сильно не казни, так было надо )

iperov commented 5 years ago

в колабе только matplotlib выводит изображение?

iperov commented 5 years ago

потоки же должны работать

iperov commented 5 years ago

трейнер в отдельном потоке, а в мейн потоке - превью. Надо просто сделать для колаба свою превью функцию, которая будет активироваться через --preview-colab аргумент

iperov commented 5 years ago

я понимаю ты для быстроты проверки в начале просто всё лишнее вырубил ) но теперь же можно сделать чтобы збс было

chervonij commented 5 years ago

@iperov Потоки работают. Но на колабе нельзя создать отдельное окно, как на стационарном компе. Только то, что выводит в стандартный output питона и то только из кода самого Колаб Ноутбука. + из-за потоков криво выводился лог ошибки(не обновлялся). Убрал поток превью и лог заработал.

Более того, в Колаб я запускаю всё как скрипт питона. А из внешнего скрипта даже matplot превью не выводится. Пробовал перенести код из Trainer.py прямо в Колаб, но тогда у него проблемы с импортом из файлов DFL возникают.

iperov commented 5 years ago

в мастере нет потока превью. В потоке только тренировка идет и получает/отправляет ему команды. луп превью идёт прямо из мейна.

iperov commented 5 years ago

а что не пробовал прямо from mainscripts.Trainer import main as trainer_main и запускать trainer_main(...) ?

iperov commented 5 years ago

так что не должно быть проблем с созданием --preview-colab с текущим кодом )

chervonij commented 5 years ago

Возможно, я неправильно выразился ) Но колабу это сильно не понравилось и он отказался нормально выводить лог.

Я пробовал написать вывод через matplot в Trainer.py, но в вывод идет только сообщение типа: <Figure size 720x576 with 0 Axes>

chervonij commented 5 years ago

Импортировать не пробовал. Сейчас протестирую.

chervonij commented 5 years ago

@iperov Написал напрямую импорт из Trainer Получил каскад ошибок, как и было раньше. Import error. Вот последнее, что было в выводе. image

iperov commented 5 years ago

это потому что питон запущен как бы не из корня DFL папки. Надо гуглить как переназначить рут, или сделать ipynb поместить его в рут и запускать его

chervonij commented 5 years ago

Да, я тоже так подумал. Уже ищу.

chervonij commented 5 years ago

@iperov там надо ковырять ipython_config и перезапускать сервер ноутбука. не уверен, как это всё работает.

а если я перепишу импорты в файлах, через абсолютные пути?

iperov commented 5 years ago

не, надо сделать минимум переписываний и изменений кода

iperov commented 5 years ago

а че экстракт в папку с кодом? firefox_2019-03-26_08-33-34

iperov commented 5 years ago

а у тя чет не последняя версия с мастера

Use lightweight encoder? (y/n, ?:help skip:n) : n

я же удалял лайтвейт

chervonij commented 5 years ago

а че экстракт в папку с кодом?

Так было удобней просто. Что бы при запуске main.py прописывать относительные пути в колабе. Если будет нужно, всегда можно поменять на абсолютные.

iperov commented 5 years ago

конечно надо делать чтобы всё по уму )

chervonij commented 5 years ago

Да, версия не последняя. Обнову делал позавчера, а вчера не успел. Там кстати, лайтвейт стартовать не хотел из-за того, что SeparableConv2D не принимает padding='zeroes'.

chervonij commented 5 years ago

А почему ты его убрал? Полезная вроде опция была.

iperov commented 5 years ago

для сае - нет. Энкодер по отдельным каналам выдавал артефакты. Лучше просто уменьшить дименсии энкодера в последней версии чтобы сделать его лайтовее =)

chervonij commented 5 years ago

конечно надо делать чтобы всё по уму )

Думаешь, нужно сделать что бы в content экстратился?

iperov commented 5 years ago

ну не в папку с кодом это точно ) не логично же. /content/workspace отлично

iperov commented 5 years ago

всё сделал ссылку на твой форк с главной страницы

chervonij commented 5 years ago

всё сделал ссылку на твой форк с главной страницы

спасибо ) может полезно будет для кого-то.

chervonij commented 5 years ago

экстракт прямо сейчас переделаю. это быстро вроде.

iperov commented 5 years ago

я всё же очень надеюсь что ты разберешься че за фигня с тренировкой из отдельного потока в колабе. Просто текущая архитектура тренировки она самая логичная в дфл, когда тренировщик как бы отдельный модуль с сообщением к нему пакетами, а превью из основного потока

iperov commented 5 years ago

просто когда превью в своём потоке, руки более развязаны, вдруг получится потом сделать или гугл введут такую фичу, чтобы превью картинку заливать прямо в браузер из мейна итд итп

chervonij commented 5 years ago

Попробую. Возможно, я погорячился, когда тупо удалил половину кода. Но я в питоне только месяц пытаюсь разобраться и изначально думал, что второй поток только для вывода окна. А если окно мне выводить не надо, то и поток не нужен.

Превью, можно выводить через matplot прямо в браузер. Это точно. Но почему он не хочет выводить его, если код вывода прописан в питоновском скрипте, а не ноутбуке - непонятно.

iperov commented 5 years ago

ок без проблем, учись, развивайся =)

iperov commented 5 years ago

а ты на реддит не выкладывал свой видос? https://www.youtube.com/watch?v=zNUuXPFauy8

chervonij commented 5 years ago

нет, не выкладывал.

iperov commented 5 years ago

выложить?

chervonij commented 5 years ago

думаешь оно норм?

chervonij commented 5 years ago

сделано ещё на 64 res fullface, когда я только тестил колаб.

iperov commented 5 years ago

это отлично

iperov commented 5 years ago

напишу trained with google colab

chervonij commented 5 years ago

залей тогда пжл, если можешь

chervonij commented 5 years ago

спасибо )

iperov commented 5 years ago

https://www.reddit.com/r/GifFakes/comments/b5mfed/robert_downey_as_elon_musk/

iperov commented 5 years ago

лица Маска и Дауни отлично фейчатся между собой.

chervonij commented 5 years ago

Да, тоже заметил. Сейчас тренирую модель и они прям неплохо сходятся. 030510

chervonij commented 5 years ago

а если у меня на реддите новый акк, я могу выкладывать видео в будущем туда? нет никаких ограничений на этот счет?

iperov commented 5 years ago

ограничений нет.

В превью на вид как будто у тебя выключено face style

iperov commented 5 years ago

К тому же выкладывая хорошие фейки качнешь на халяву рейтинг на аккаунте =)

chervonij commented 5 years ago

он включен, но маленький.

face_style_power : 0.1 bg_style_power : 0.5

iperov commented 5 years ago

я обычно до 20к эпох ставлю оба стиля по 5 - 10 потом фейс ставлю 0.1 и бг 0.5