JayYip / m3tl

BERT for Multitask Learning
https://jayyip.github.io/m3tl/
Apache License 2.0
545 stars 125 forks source link

想了解一下怎么可以把 输入数据形式不同的两种任务 放在一起训练 #38

Open 652994331 opened 4 years ago

652994331 commented 4 years ago

之前一直想做bert的多任务, 单独做过Bert 的 单句多标签分类问题,也单独做过bert 的NER实体识别。按照我对这个项目的理解,是可以比如 做一次finetune 这次finetune 涉及这两种任务, 然后得到一个比较通用的finetune 模型, 这个模型在分类任务和NER上 都有一个相对可以的表现.请问我理解的对吗.

从代码中看,是 cws & NER (同形式输入的两种任务) (用| 是不同形式输入的两种任务). 想问下 我是否可以 (multilabel_classification | NER) 这样做呢。可以讲解下数据这部分应该怎么处理这种不同形式的两种任务的读入呢, 自己理解的不是很明白. 非常感谢

JayYip commented 4 years ago

可以的, 你只需要定义好各自两个任务的预处理函数, 具体怎么实现可以参考这里: https://github.com/JayYip/bert-multitask-learning/blob/master/notebooks/Run%20Self%20Defined%20Problem.ipynb