Text generation on default models

l4rz / gpt-2-training

Training GPT-2 on a Russian language corpus

87 stars 28 forks source link

Open alsvartr opened 3 years ago

alsvartr commented 3 years ago

Добрый день, используя ваши модели по умолчанию при генерации (и unconditional, и interactive) всегда получаю подобный вывод:

Screenshot from 2020-12-28 23-04-56

Пример команды: PYTHONPATH=src src/generate_unconditional_samples.py --model_name=1250M --temperature=0.9 --top_k=40 --length=100

Подскажите, возможно что-то не так делаю или чего-то не учитываю?

l4rz commented 3 years ago

Добрый день

убедитесь, что BPE словари (sp.model и sp.vocab) используются точно те, которые идут с моделью 1250M