增量预训练阶段的配置

[tzt101]

您好，请问可以提供一些增量预训练时候的训练配置吗？例如，学习率、batch size、warmup、weight_decay等参数。