search

ivbelkin / AGRR_2019

'Automatic Gapping Resolution for Russian' track of 'Dialogue Evaluation 2019'
2 stars 1 forks source link

BERT fine-tuning #1

Open king-menin opened 5 years ago

king-menin commented 5 years ago

Можете рассказать насколько затратно дообучать BERT, что для этого надо (характеристики железа), насколько долго и т. д.

ivbelkin commented 5 years ago

У меня фолды (~16k предложений, 8 эпох) обучались где-то по 1.5 часа с учетом валидации на 1x1080ti, загрузка карты во время обучения 90-100%, по памяти ~10/11GB, batch_size=32. Проц здесь не важен как и быстрые диски, на лету нечего обрабатывать/подгружать.