apple55bc / bd-chat-2020

2020语言与智能技术竞赛:面向推荐的对话任务
51 stars 15 forks source link

有关OOV的问题 #6

Closed sf91971684 closed 3 years ago

sf91971684 commented 3 years ago

hi~ 想请教您一个问题,就是bert的原始词典里不包含'[GOAL]'应该怎么解决呢?感谢您!!!

image

apple55bc commented 3 years ago

不要覆盖 data/roberta 里的 vocab.txt 和 config

sf91971684 commented 3 years ago

不要覆盖 data/roberta 里的 vocab.txt 和 config

谢谢您~不过词典都变了的话,模型还可以使用原来预训练的模型嘛?因为我印象中预训练的embedding是和词典一致的呀?

apple55bc commented 3 years ago

你可以看一下改了哪些vocab就明白了

sf91971684 commented 3 years ago

再次感谢~~~