search

ShusenTang / Dive-into-DL-PyTorch

本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。
http://tangshusen.me/Dive-into-DL-PyTorch
Apache License 2.0
18.29k stars 5.39k forks source link

10.12 机器翻译一节初始化Vocab #113

Open alqbib opened 4 years ago

alqbib commented 4 years ago

10.12 机器翻译一节初始化Vocab中加入'\<unk>',即: vocab = torchtext.vocab.Vocab(collections.Counter(all_tokens), specials=['\<unk>', PAD, BOS, EOS]) 这样结果的词序索引与原书相同,最后预测不在词典里的词时也不会报错.