自己组装问答数据微调的loss下降非常慢

deerluffy commented 1 year ago

微调数据格式 { "<ans>":"谢谢你的帮助和解释。我会考虑购买这个工具的。", "prompt":"扮演一个女性与男性聊天,AI是你要扮演的人，用户是一个普通男性，请根据聊天历史回应用户的话", "input":"用户：你好，小芳，你需要什么帮助？\n<sep>AI：我需要你帮我理解最近一款IT工具是如何运作的。你能为我讲解一下吗？\n<sep>用户：当然，我很乐意为你解释。这款工具是用于确保数据隐私安全的一种工具，你可能对这个比较感兴趣，对吧？\n<sep>AI：是的，我一直想知道如何更好地处理客户数据。这个工具是否完全安全，也就是说，它是否易受到黑客攻击？\n<sep>用户：我们团队已经设计了非常完善的安全系统，确保任何外部攻击者不能访问你的数据。此外，我们还提供了实时监控系统，这意味着你可以立即获得关于它的任何问题的通知。\n<sep>AI：听起来非常不错。这个工具还有其他类型数据处理功能吗？比如说营销数据？\n<sep>用户：当然有。我们的工具可以为你提供全面的数据分析支持，它会分析顾客的行为，帮助你更好地预测市场市场趋势。\n<sep>AI：这听起来很棒。另外，对于普通商业应用程序的IT管理如何进行整合？\n<sep>用户：我们平台支持大多数商业系统，并且很容易进行整合。你需要使用的是API接口来传递数据即可。<sep>AI：" } 运行参数 nohup bash scripts/finetune_cpm_bee.sh &

export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 GPUS_PER_NODE=8 NNODES=1 MASTER_ADDR="localhost" MASTER_PORT=12345

OPTS="" OPTS+=" --model-config /data/xxx/huggingface/cpm-bee-10b/config.json" OPTS+=" --dataset /data/xxx/CPM-Bee/mmdata/bin_data/train" OPTS+=" --eval_dataset /data/xxx/CPM-Bee/mmdata/bin_data/eval" OPTS+=" --epoch 100" OPTS+=" --batch-size 6" OPTS+=" --train-iters 100" OPTS+=" --save-name cpm_bee_finetune" OPTS+=" --max-length 2048" OPTS+=" --save results/" OPTS+=" --lr 0.0001" OPTS+=" --inspect-iters 100" OPTS+=" --warmup-iters 1" OPTS+=" --eval-interval 1000" OPTS+=" --early-stop-patience 5" OPTS+=" --lr-decay-style noam" OPTS+=" --weight-decay 0.01" OPTS+=" --clip-grad 1.0" OPTS+=" --loss-scale 32768" OPTS+=" --start-step 0" OPTS+=" --load /data/xxx/huggingface/cpm-bee-10b/pytorch_model.bin"

如上：辛苦帮看下是否正常呢？

gongbaitao commented 1 year ago

您可以适当调大学习率。如果加载微调中间的checkpoint，则需要把start-step设置为该checkpoint对应的总步数，避免起始lr过大导致loss上升

deerluffy commented 1 year ago

@gongbaitao 谢谢，训练了1天多之后，loss 从2下降到了1，epoch 训练到17，我看初始代码的设计epoch 是100，但是我们用fastchat 训练llama一般只做3个epoch，想问下，这个100epoch 是你们的经验值么？

gongbaitao commented 1 year ago

并不是经验值，您需要根据自己的数据集特点来设置合适的epoch，一般3个即可

deerluffy commented 1 year ago

感谢 @gongbaitao ，我关掉这个问题，后面自己再试一下。

OpenBMB / CPM-Bee

自己组装问答数据微调的loss下降非常慢 #81