search

RussianNLP / russian_paraphrasers

Russian paraphrasers. Generate paraphrases with mt5, gpt2, etc.
MIT License
52 stars 9 forks source link

Настройки finetuning #2

Open seregadgl20-oss opened 3 years ago

seregadgl20-oss commented 3 years ago

Здравствуйте, подскажите если не секрет, какие вы использовали настройки в rugpt3 модели для перефразирования?

Alenush commented 3 years ago

Добрый день! Для обучения какие-то конкретные параметры интересуют? или для генерации какой-то более стабильный вариант? При обучении ничего не мудрила как в репе обучала https://github.com/sberbank-ai/ru-gpts/blob/deepspeed_full/examples/Finetune_RuGPTs_with_HF.ipynb по дефолту. Для генерации можно пробовать разные параметры, лучше подбирать под свою задачу и свои тексты.