holistic training是什么呢

[chentigerye]

我们发现当预训练数据中混入微调数据，按照非监督的方式，基座模型可以拥有很好的指令完成能力，我们认为微调可以和预训练一步完成，然后做alignment，tech report里有些我们使用的参数比例。