search

yangjianxin1 / GPT2-chitchat

GPT2 for Chinese chitchat/用于中文闲聊的GPT2模型(实现了DialoGPT的MMI思想)
2.99k stars 680 forks source link

GPT-2预训练模型 #21

Open ECNUHP opened 4 years ago

ECNUHP commented 4 years ago

您好，想问一下您，gpt-2中文预训练模型用的是哪个呢？

LiuYingKai commented 4 years ago

您好，想问一下您，gpt-2中文预训练模型用的是哪个呢？

您好, 我也有相同的问题, 请问解决了么

yangjianxin1 commented 4 years ago

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

LiuYingKai commented 4 years ago

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

您好，我想在MMI Model中断点续训是使用这个参数么？怎样断点续训？

LiuYingKai commented 4 years ago

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

您好，我想在MMI Model中断点续训是使用这个参数么？怎样断点续训？

你好，我仔细看了下代码，已经解决

LiuYingKai commented 4 years ago

gpt-2中文预训练模型是Dialogue Model，MMI Model是用来在多个候选response中选一个loss最好的，MMI Model可以不用

您好，请问一下预训练模型接入的话，续训使用自己添加的语料，loss下降很慢，请问您调参经验能分享一下么?我的设备最大支持的batch_size只有16，当前的学习率是0.0003