search

ai-forever / ru-gpts

Russian GPT3 models.
Apache License 2.0
2.08k stars 445 forks source link

support transformers 4.15.0 #86

Closed salaxieb closed 2 years ago

salaxieb commented 2 years ago

Сделал дообучение sberbank-ai/rugpt2large на своих данных и хотел бы перенести в формат huggingface

но скрипт падает на одно из импортов:

ModuleNotFoundError: No module named 'transformers.tokenization_gpt2'

transformers.version '4.15.0'

если откатиться на версию как в примере 3.5.0 то возникает следующая ошибка:

ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler'
king-menin commented 2 years ago

попробуйте версию 3.5.1, если возникнет приведенная ошибка сделайте следующее !cp ru-gpts/src_utils/trainer_pt_utils.py /usr/local/lib/python3.7/dist-packages/transformers/trainer_pt_utils.py эта команда на colab должна исправлять эту ошибку, если запускаете локально, то вставьте ваш путь.

в этом файле просто прописано изменение

if version.parse(torch.__version__) <= version.parse("1.4.1"):
    SAVE_STATE_WARNING = ""
else:
    # from torch.optim.lr_scheduler import SAVE_STATE_WARNING
    SAVE_STATE_WARNING = ""

Чтобы в других проектах ничего не сломалось, лучше делайте это в отдельном env.