search

bytedance / SALMONN

SALMONN: Speech Audio Language Music Open Neural Network
https://bytedance.github.io/SALMONN/
Apache License 2.0
978 stars 75 forks source link

训练超参设置 #52

Open blue-blue272 opened 1 month ago

blue-blue272 commented 1 month ago

您好，有几个训练的问题想请假一下：

第一阶段是32卡，单卡batch size设置为8， lr按照config的设置为3e-5吗？ 第二阶段的训练配置（lr, batchsize等）和第一阶段一样吗？是从第一阶段的模型初始化，用不同的数据进行训练吗？