Closed Pro100rus32 closed 3 years ago
Как я понимаю train.txt нужен для обучения? Если да, то тогда как нужно вводить туда данные?
Пример как я пытаюсь записать это в train.txt:
<s>User1:Привет, как дела? User2:Привет, у меня всё хорошо.</s>
документации нет, поэтому вообще хз, сделал примерно как в файле train который скачивается, и то там рандомно всё написано.
Но когда пытаюсь проверить натренированную модель, получаю:
User1:Привет, как дела? User2:Привет, у меня всё хорошо.</s> <s>User1:А как тебя зовут? Я Алёша, надеюсь
Как убрать всё лишнее? И как можно сделать что бы он не обрывал предложения?
Лишнее можно обрезать после генерации, искать токен и удалять всё, что после, а обрывать он по-идее не должен, если в датасете они не обрываются.
Как я понимаю train.txt нужен для обучения? Если да, то тогда как нужно вводить туда данные?
Пример как я пытаюсь записать это в train.txt:
документации нет, поэтому вообще хз, сделал примерно как в файле train который скачивается, и то там рандомно всё написано.
Но когда пытаюсь проверить натренированную модель, получаю:
Как убрать всё лишнее? И как можно сделать что бы он не обрывал предложения?