search

vlarine / ruGPT2

Russian GPT2 model
Apache License 2.0
59 stars 10 forks source link

Не получается создать модель #4

Open ameta13 opened 4 years ago

ameta13 commented 4 years ago

Здравствуйте, Владимир. При вызове функции get_model(args) из generate_samples.py возникает ошибка: File "/home/maks/Documents/NLP/dialogue2020-taxonomy/ruGPT2/generate_samples.py", line 57, in get_model parallel_output=False) File "/home/maks/Documents/NLP/dialogue2020-taxonomy/ruGPT2/model/gpt2_modeling.py", line 63, in init vocab_size, hidden_size, init_method=init_method) File "/home/maks/Documents/NLP/dialogue2020-taxonomy/ruGPT2/mpu/layers.py", line 103, in init self.num_embeddings, get_model_parallel_rank(), File "/home/maks/Documents/NLP/dialogue2020-taxonomy/ruGPT2/mpu/initialize.py", line 109, in get_model_parallel_rank return torch.distributed.get_rank(group=get_model_parallel_group()) File "/home/maks/Documents/NLP/dialogue2020-taxonomy/ruGPT2/mpu/initialize.py", line 91, in get_model_parallel_group 'model parallel group is not initialized' AssertionError: model parallel group is not initialized

args берется из path/arguments.py, функция get_args(), при этом у меня выводит:

WARNING: No training data specified using world size: 1 and model-parallel size: 1 using dynamic loss scaling

Спасибо!

vlarine commented 4 years ago

У себя такую ошибку не видел.

А что за GPU (и сколько их), какая версия CUDA и PyTorch?

ameta13 commented 4 years ago

Видеркарта: Geforce GT 630, чип: GF108, но CUDA не видит его, я хотел на CPU запустить. Версия PyTorch: 1.4.0 Версия CUDA: 9.1.85