Are there hardware requirements to execute the script?

[chsnt]

Are there hardware requirements to execute the script?

I get the following error when executing ru-gpts/pretrain_transformers.py from example

Epoch:   0%|          | 0/5 [00:00<?, ?it/s]
Iteration:   0%|          | 0/3 [00:00<?, ?it/s]
Process finished with exit code 137 (interrupted by signal 9: SIGKILL)

[Den4ikAI]

depending on which model you train

[chsnt]

Small rugpt, like in example

[Den4ikAI]

4 gigabytes is enough for inference, and 9 gb for training (it all depends on the batch size). What equipment do you have?

[Den4ikAI]

I tested this code in google colab. It works fine

[chsnt]

У меня не работает ни в colab, ни в Jupiter , ни на виртуальной машине с linux через ide Может быть есть требования к формату train.txt ? У меня строка через пустую строку

Строка1

Строка2

Строка3

...

[chsnt]

На локальной машине 4гб видеопамяти и 64гб оперативной

[Den4ikAI]

Вы используете свои обучающие данные?

[Den4ikAI]

Если вы откроете оригинальный обучающий набор, то вы увидите формат)

<s>sample</s> <s>sample</s>

[Den4ikAI]

4 гига мало, откройте код примера в google colab, и удалите строки где начинается загрузка с дропбокс. Потом просто загрузите эти данные через файловый менеджер google colab

[chsnt]

Я так и сделал . Только свой дропбокс создал и заменил ссылку. Все также зависло на тренировке модели. Я думаю проблема в формате, попробую его изменить

[chsnt]

Нужны ли эти html теги вроде <s></s> ?

[Den4ikAI]

Обязательно

[chsnt]

4 часа исполняется в colab, это норма? Запускал без eval

[Den4ikAI]

какую видеокарту вам выдали?

[chsnt]

Все, разобрался. Денчик, заходи в /pr , в нейротред

[David3456789]

какую видеокарту вам выдали? Добрый день. Подскажите, пожалуйста, какой объём видеопамяти необходим для дообучения моделей Large и XL?

[king-menin]

For finetune ruGPT3XL with batch size 1 we need around 32GB GPU Memory