微调roberta模型问题

PaddlePaddle / PaddleHub

Awesome pre-trained models toolkit based on PaddlePaddle. (400+ models including Image, Text, Audio, Video and Cross-Modal with Easy Inference & Serving)【安全加固，暂停交互，请耐心等待】

https://www.paddlepaddle.org.cn/hub

Apache License 2.0

12.73k stars 2.08k forks source link

微调roberta模型问题 #540

Closed Antlerkeke closed 4 years ago

Antlerkeke commented 4 years ago

在paddlepaddle1.6.2下 module = hub.Module(name="roberta_wwm_ext_chinese_L-24_H-1024_A-16") 微调时总是自动重启页面环境，无法微调。

Steffy-zxf commented 4 years ago

你好，页面重启是在什么样的背景下发生的呢？是AIStudio吗？麻烦把背景和问题说的详细些，方便排查问题。

Antlerkeke commented 4 years ago

您好，重启是在每次进行任务进行finetune_and_eval()时输出PaddleHub finetune start后页面右上角就会提示自动重启中，AI studio项目地址https://aistudio.baidu.com/aistudio/projectdetail/389985，感谢！

Steffy-zxf commented 4 years ago

@Antlerkeke 你好，你的项目还需要公开，现在是私密状态，无法查看。

Antlerkeke commented 4 years ago

已公开。麻烦您再次查看

Steffy-zxf commented 4 years ago

@Antlerkeke 建议你的batch_size设置小一些。batch_size和max_seq_len会影响占用的运行内存。另外由于roberta-large/ERNIE等模型参数量级较大，建议使用GPU环境运行。

Antlerkeke commented 4 years ago

谢谢，确实是因为batchsize太大了，已经解决了