Ошибка в Colab "Finetune_and_generate_RuGPTs_deepspeed_megatron.ipynb"

ai-forever / ru-gpts

Russian GPT3 models.

Apache License 2.0

2.08k stars 442 forks source link

Ошибка в Colab "Finetune_and_generate_RuGPTs_deepspeed_megatron.ipynb" #70

Closed Artyrm closed 3 years ago

Artyrm commented 3 years ago

После тренировки модели ни загрузить ни сконвертировать её не получается.

Очевидно, утилиты подразумевают другую структуру папок\файлов для checkpoints:

Artyrm commented 3 years ago

И кстати !rm -rf ru-gpts перед манипуляциями с обученной моделью выглядит странно. По идее это как раз удаление файлов, к которым идёт обращение дальше.

Artyrm commented 3 years ago

Обновление DeepSpeed до 0.4.3 (последняя) не помогло. Была некоторая надежда: https://github.com/microsoft/DeepSpeed/issues/507

king-menin commented 3 years ago

fixed