search

DUOMO / TransGPT

MIT License
703 stars 76 forks source link

底座模型的问题 #10

Open zhangyu68 opened 1 year ago

zhangyu68 commented 1 year ago

请问是以from scratch的方式pretrain了一个大模型是吗，没有依赖其他底座模型，从头训练了一个

DUOMO commented 1 year ago

目前是在其他通用模型上做的领域内预训练，加上微调。

lmyacj2006 commented 1 year ago

目前是在其他通用模型上做的领域内预训练，加上微调。

在训练好的通用模型上进行领域内预训练，相当于针对通用模型进行了特定领域数据的增量学习，请问在这个过程中是如何避免增量学习的“灾难性遗忘”问题的？