search

MM-IR / rank4_NLP_textclassification

阿里云天池零基础入门NLP比赛_rank4选手比赛总结: https://tianchi.aliyun.com/competition/entrance/531810/introduction
180 stars 32 forks source link

如果使用现成的vocab.txt改怎么修改嘞 #3

Open Howard0x3f opened 3 years ago

Howard0x3f commented 3 years ago

我自己已经尽力了。但是感觉你定义的那个vocab类分布在各个地方，改不过来了233

MM-IR commented 3 years ago

这个就是看看分词有关的代码, 生成自己的vocab.txt. 我记得transformers也有对应的API的。

Howard0x3f commented 3 years ago

如果方便的话能否详细说明，刚开始搞，还有不少不清楚的地方，谢谢。我想做一个普通的新闻分类，但是并没有像天池一样匿名处理，所以我打算直接用谷歌的vocab.txt来做，却不知道怎么修改您的代码。

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2021年6月14日(星期一) 下午3:56 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [MM-IR/rank4_NLP_textclassification] 如果使用现成的vocab.txt改怎么修改嘞 (#3)

这个就是看看分词有关的代码, 生成自己的vocab.txt. 我记得transformers也有对应的API的。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.