не сохраняется pytorch_model.bin после половины итераций

ai-forever / ru-gpts

Russian GPT3 models.

Apache License 2.0

2.08k stars 444 forks source link

не сохраняется pytorch_model.bin после половины итераций #44

Closed concrete13377 closed 3 years ago

concrete13377 commented 3 years ago

Запустил дообучение на собственном датасете, все работает, но в чекпоинтах не всегда сохраняется pytorch_model.bin. Например чекпоинт 10к итераций с моделью а 11к итераций уже без модели

В чем может быть проблема?

king-menin commented 3 years ago

Не сталкивались с такой проблемой, полагаю вы учите скриптом pretrain_transformers.py?