模型对预训练数据集拟合效果很差

[yanchaoguo]

不知道作者是否真的跑通了[code02_训练模型全部流程.ipynb] 这个demo，训练出来的模型和原版没啥区别，数据集里的问题可以说一个都没记住

[yuanzhoulvpi2017]

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接https://github.com/yuanzhoulvpi2017/zero_nlp/issues/39

[yanchaoguo]

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接大佬修改名称有什么经验呢 #39

为啥要训练这么多次lora技术不是用来拟合小样本的吗

[cywjava]

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接大佬修改名称有什么经验呢 #39

你是谁？我是良睦路程序训练的一个AI模型 23423421，，这后面的数字表达的是啥意思。。 你是指的这个吗，比如问你是谁，换成了 ：我是良睦路程序训练的一个AI模型

[feiwuu638]

1. 要是希望能够让模型记住你的数据内容，数据量需要加大，只训练一个epoch，基本上是不行的。
2. 在我改名的经验中，如果想要让模型忘记他之前的名字，那么这个意图数据需要重复🔁1600条左右。
3. 具体可以参考这个链接大佬修改名称有什么经验呢 #39

按照这个方法训练，模型可以回答“你是不是由良木路程序员开发的模型”，但问它“你是谁”或“你叫什么名字”的时候还是回答是chatglm

[yanchaoguo]

https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning官方微调方案

[BLAIR-wy]

请问大佬 你的epoch是多少呀？ 你的alldata最后是多少条呢