search

apple55bc / bd-chat-2020

2020语言与智能技术竞赛：面向推荐的对话任务
51 stars 15 forks source link

有关OOV的问题 #6

Closed sf91971684 closed 3 years ago

sf91971684 commented 3 years ago

hi~ 想请教您一个问题，就是bert的原始词典里不包含'[GOAL]'应该怎么解决呢？感谢您！！！

image

apple55bc commented 3 years ago

不要覆盖 data/roberta 里的 vocab.txt 和 config

sf91971684 commented 3 years ago

不要覆盖 data/roberta 里的 vocab.txt 和 config

谢谢您～不过词典都变了的话，模型还可以使用原来预训练的模型嘛？因为我印象中预训练的embedding是和词典一致的呀？

apple55bc commented 3 years ago

你可以看一下改了哪些vocab就明白了

sf91971684 commented 3 years ago

再次感谢～～～