search

chervonij / DFL-Colab

DeepFaceLab fork which provides IPython Notebook to use DFL with Google Colab
1.05k stars 265 forks source link

>> TALKS, BUGS, SUGGESTIONS #1

Closed chervonij closed 5 years ago

chervonij commented 5 years ago

Topic for any questions or bugreports

chervonij commented 5 years ago

у меня здесь до 10К было FS - 1, BS - 5. а потом каждые 5К эпох постепенно опускал до текущих. на 20К включил pixel loss.

когда у тебя был открыт чат, заметил что у людей были проблемы скорее всего из-за стиля. учитывая, что мне нужно где-то 50-60К эпох, то решил что пусть учит стиль понемногу.

iperov commented 5 years ago

не, там крашило от весов. До ввода vg были дефолтные веса. а с random_normal или CA весами получается краш

chervonij commented 5 years ago

ок, я понял. попробую, поднять сейчас. пусть выправляется.

iperov commented 5 years ago

что значит выправляется?

chervonij commented 5 years ago

я имею в виду - стиль. что бы цвет и освещение лица перенеслось.

chervonij commented 5 years ago

image

вот главный недостаток колаба. можно задать большой размер батча, но на одну итерацию тогда 5 секунд уходит.

iperov commented 5 years ago

ну да медленная у них карточка

iperov commented 5 years ago

а у них там 12 гб? или 24

chervonij commented 5 years ago

12гб

iperov commented 5 years ago

firefox_2019-03-26_12-24-32

iperov commented 5 years ago

с 3-м оптимизером норм, выжирая RAM. Вот в гугле охуеют )

iperov commented 5 years ago

я ведь еще трейнер обновлял фиксил ошибки и сделал чтобы усредненное значение лосс показывало с момента последнего сохранения.

iperov commented 5 years ago

чето мне кажется что со временем если куча народу придет в колаб, то гугл просто забанит наши репо ))

chervonij commented 5 years ago

та гуглу, мне кажется, ни холодно ни жарко с этого ) они прекрасно знали, что за платформу они выкатывают. потому и сделали ограничение в 12 часов на рантайм, что бы майнеры это дело не засрали.

да, я видел. но там изменения в Trainer.py, а я сейчас не за своим компом. вечером разберу изменения, допишу в свой Trainer.py и закомичу.

chervonij commented 5 years ago

гугл недавно анонсировал свою стриминговую платформу для игр. пообещали что всё будет идти на Ultra настройках графики, в 4К и 60FPS. для это нужно сильно большие ресурсы, чем те что сейчас на колабе. и речь там уже пойдёт на миллионы пользователей.

iperov commented 5 years ago

да ты прав

chervonij commented 5 years ago

это я к тому, какие у них вычислительные мощности там. мы им не сильно помешаем ))

iperov commented 5 years ago

ладно, надо кровь из носа понять че за фигня с трейнером по дефолту и как это пофиксить. Попробую заняться.

chervonij commented 5 years ago

буду рад любой помощи )

iperov commented 5 years ago

а че ffmpeg извлечение тоже работает?

chervonij commented 5 years ago

вообще работает. единственная проблема с ним - тоже не выводится лог. с тех пор, как ffmpeg переехал внутрь скрипта питона.

chervonij commented 5 years ago

ffmpeg даже не пробовал трогать, ибо там ошибка с логом некритичная.

chervonij commented 5 years ago

вернее, я неправильно выразился. лог выводится, но в процессе не обновляется.

iperov commented 5 years ago

мастер репо ведь грузится норм и одна итерация обучения проходит а потом

Starting. Press "Enter" to stop training and save model.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.cast instead.
[09:02:14][#000001][19.65s][3.0943][1.8054]
: cannot connect to X server
chervonij commented 5 years ago

оно полностью вылетает или обучение продолжается, но без обновления лога?

iperov commented 5 years ago

уже всё пофиксил. Осталось только показывать изображение

iperov commented 5 years ago

да, надо походу еще из трейнер треда пересылать и консоль в превью

chervonij commented 5 years ago

эмм, сильно сложно сказал, для меня ))

chervonij commented 5 years ago

так разве можно было? )

iperov commented 5 years ago

nothing is impossible

maxresdefault 3

iperov commented 5 years ago

хотя чето не фурычит. Проблема в end=/r из отдельного потока. с ней не обновляется ниче, это реально баг колаба. А без end нормально но каждая строка итерации будет новой.

iperov commented 5 years ago

так что пока пусть будет каждая строка итерации - новой. Зато у тебя не будет изменений кода в трейнере )

chervonij commented 5 years ago

Попробуй убрать end=/r и вместо него запихать /r в начало строки.

chervonij commented 5 years ago

У меня было что-то похожее. И так вроде заработало обновление.

iperov commented 5 years ago

оно у тебя щас работает потому что из главного потока пишется

iperov commented 5 years ago

точнее отсутствуют еще потоки с выводом =)

iperov commented 5 years ago

\r в начале не работает, потому что конец строки уже переносит ее на новую.)

iperov commented 5 years ago

лана я потом отправлю просто баг в колаб, может пофиксят

iperov commented 5 years ago

как нормально вывести изображение из кода? чето нема

chervonij commented 5 years ago

ну, так если сделать end="" и потом loss_string = "/r"+loss_string, то не должно быть переноса. логика вроде та же. или потоки руинят это всё?

iperov commented 5 years ago

а ща проверю

chervonij commented 5 years ago

как нормально вывести изображение из кода? чето нема

я пробовал через matplot, но оно из внешнего скрипта не хочет нормально работать на вывод.

iperov commented 5 years ago

io.log_info ('\r' + loss_string, end='') тож не пашет

iperov commented 5 years ago

а сек

iperov commented 5 years ago

да запахало

chervonij commented 5 years ago

о, шикарно

iperov commented 5 years ago

и для десктопа такой же подход пашет

iperov commented 5 years ago

хотя для десктопа тогда Saving... переносится в конец

chervonij commented 5 years ago

ну, на Saving можно также прилепить \n в начало

iperov commented 5 years ago

сделаю кондишн на колаб