search

liucongg / GPT2-NewsTitle

Chinese NewsTitle Generation Project by GPT2.带有超级详细注释的中文GPT2新闻标题生成项目。
Apache License 2.0
1.09k stars 182 forks source link

vocab #19

Open pureblacker opened 2 years ago

pureblacker commented 2 years ago

请问一下不是说tokennizer里面会包含有这个模型所用的词表嘛？还是说做中文的文本生成，都要自己添加词表

liucongg commented 2 years ago

中文的文本生成，都要自己添加词表

tokenizer加载词表有什么问题吗？