search

IlyaGusev / rulm

Language modeling and instruction tuning for Russian
Apache License 2.0
455 stars 50 forks source link

small_fixes_imports_fp16_train #33

Closed RefalMachine closed 1 year ago

RefalMachine commented 1 year ago

Фиксы импортов + ветка в условном операторе в train.py для обучения в случае с fp16 была заброшена, дополнил в соответствии с веткой в load_in_8bit.

IlyaGusev commented 1 year ago

LGTM