关于Chatglm3的增量预训练

[XueMoonLit]

结论

灾难性遗忘，增量预训练起了反效果

领域

文言文

预训练和微调数据集

预训练：daizhige 微调：https://github.com/NiuTrans/Classical-Modern

实验结果

具体数据我就保密了，只说一下相对结果 指标：BLEU 预训练前：x 预训练后：x-7

一些依据

https://zhuanlan.zhihu.com/p/636334904 chatglm自己给出的答案 其实也可以参考一下官方仓库里关于增量预训练的讨论，没有确切的支持增量预训练的结论

叠甲

也可能是我跑的有问题，不过我看issue里也提到了类似的问题https://github.com/shibing624/MedicalGPT/issues/280

[shibing624]

chatglm3不适合增量预训练，做过类似rlhf对齐的，官方也没放出具体的训练细节和方法。 推荐在一些真正开源的模型上尝试pt、sft等技术，如llama、Yi、bloom模型等。