search

yandexdataschool / nlp_course

YSDA course in Natural Language Processing
https://lena-voita.github.io/nlp_course.html
MIT License
9.83k stars 2.61k forks source link

Поправил тест в compute_loss, где проверяется подсчет loss без паддинга #65

Closed LiableFish closed 4 years ago

LiableFish commented 4 years ago

В тртьей домашке про Language Modeling накосячил с подсчетом loss. А именно, вместо того, чтобы считать маску по inputs[:, 1:] (то есть по последовательности без BOS), я считал маску по inputs[:, :-1] (последовательности без последнего EOS).

А это неправильно, пример input = bos A n n a eos eos. Валидных 5 токенов, а если считать, как я, то получится 6.

Текущий тест это не проверяет, так там стоят очень большие длины для входа dummy_lines, у которого максимально возможная длина 15.

nlp_fix

review-notebook-app[bot] commented 4 years ago

Check out this pull request on  ReviewNB

See visual diffs & provide feedback on Jupyter Notebooks.

Powered by ReviewNB