search

JayYip / m3tl

BERT for Multitask Learning
https://jayyip.github.io/m3tl/
Apache License 2.0
545 stars 125 forks source link

分类问题 #24

Closed ZTurboX closed 5 years ago

ZTurboX commented 5 years ago

请问notebook中，分类的例子中，这里params.init_checkpoint = 'models/cased_L-12_H-768_A-12'是原始bert的模型吗？还有这个项目有模型说明吗或者论文？谢谢

JayYip commented 5 years ago

params.init_checkpoint = 'models/cased_L-12_H-768_A-12'是原始bert的模型吗？

是的

这个项目有模型说明吗或者论文？

目前没有, 因为模型比较简单, 类似于微软的MT-DNN

ZTurboX commented 5 years ago

那么这个文本分类，是哪些任务一起做的？哪里体现是multi-task?

JayYip commented 5 years ago

在该例子里面并没有其他任务, 是single task

ZTurboX commented 5 years ago

那么用这个代码怎样做mutli-task的文本分类

JayYip commented 5 years ago

你定义好problem的预处理函数，然后训练的problem参数设置为“problem_a|problem_b”

On Thu, Aug 15, 2019, 3:00 PM zhentao notifications@github.com wrote:

那么用这个代码怎样做mutli-task的文本分类

— You are receiving this because you commented. Reply to this email directly, view it on GitHub https://github.com/JayYip/bert-multitask-learning/issues/24?email_source=notifications&email_token=ADS2OTER2EZRWTFW4VX4AVDQET5HFA5CNFSM4ILQOTE2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOD4LAVDI#issuecomment-521538189, or mute the thread https://github.com/notifications/unsubscribe-auth/ADS2OTEMW7QVK4WVIBXH4CDQET5HFANCNFSM4ILQOTEQ .

ZTurboX commented 5 years ago

这个只能在gpu上运行吗？

JayYip commented 5 years ago

你可以稍微修改一下执行函数, 但是在cpu上运行会比较慢.

这里应该会要求num_gpu大于0.

ZTurboX commented 5 years ago

但是我用gpu运行总是报这个错 image

JayYip commented 5 years ago

你看Registered devices那里没有GPU

ZTurboX commented 5 years ago

可是代码直接用的你的例子的代码

JayYip commented 5 years ago

这应该不是这个代码问题, 有可能是你的驱动, 有可能是TF的版本, 有可能是CUDA_VISIBLE_DEVICES参数的设置