search

mgrankin / ru_transformers

Apache License 2.0
776 stars 108 forks source link

Когда на GPT-3 переедете? #26

Closed AlexRMU closed 3 years ago

AlexRMU commented 4 years ago

Боюсь представить что получится...

stale[bot] commented 4 years ago

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

AlexRMU commented 4 years ago

блин ну ок

fantik11 commented 3 years ago

GPT-3 ещё нет в открытом доступе

AlexRMU commented 3 years ago

https://github.com/sberbank-ai/ru-gpts мб?

mgrankin commented 3 years ago

По ссылке прекрасный проект Сбера. Кодовая база похожая (transformers), но более свежая. Код чистый, модель натренирована качественно. Размер модели - large (774М параметров), что в два раза больше моей medium. На моем validation set получился perplexity 14 (против 21 на medium модели). Рекомендую использовать. Я свой проект уже перевел на их модель.

fen0s commented 3 years ago

По ссылке прекрасный проект Сбера. Кодовая база похожая (transformers), но более свежая. Код чистый, модель натренирована качественно. Размер модели - large (774М параметров), что в два раза больше моей medium. На моем validation set получился perplexity 14 (против 21 на medium модели). Рекомендую использовать. Я свой проект уже перевел на их модель.

Только оптимизация такая, что чёрт ногу сломит, учитывая что даже с градиентной оптимизацией модель никак не хочет тренироваться на колабе, а с оптимизацией уровня O3 вовсе ломается...

AlexRMU commented 3 years ago

@mgrankin, а https://porfirevich.ru/ будешь переводить? Или мне закрывать issue?

stale[bot] commented 3 years ago

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.