微调模型数据填充问题

[xzqxnet0990]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
• [X] 我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• [X] 第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案
• [X] 模型正确性检查：务必检查模型的SHA256.md，模型不对的情况下无法保证效果和正常运行

问题类型

模型训练与精调

基础模型

Alpaca-Plus-7B

操作系统

Linux

详细描述问题

Alpaca格式sft数据

"instruction": "自定义算子类型",
"input": "",
"output": "自定义算子类型 用户可以自定义的算子类型如下： 
|算子类型 |描述|示例|计算方式| |:--:|:--:|:--:|:--:| |流式命令|对搜索返回的事件数据逐个应用SPL命令进行处理|eval,fields,rex,rename,replace,where,search
|集中式/分布式| |转换统计命令|将搜索返回的事件转换为用于统计目的的数值|chart,stats,rare,timechart,top|集中式/分布式| |搜索导出|将搜索分析结果导出到第三方平台|export
|集中式/分布式|[PAD][PAD][PAD][PAD][PAD][PAD]

问题一：我看到chinese-alpaca-lora中special_tokens_map的 "pad_token": "[PAD]", 所以使用[PAD]将output填充至2048长度， 这种方式训练后获得的推理长度会比较长，但是结果中会出现[PAD]。我不知道我的做法是否正确？ 问题二：我先将上步骤中output内的数据整合，第一步是pre_training到模型中，然后再使用pre_training的结果，使用alpaca格式指令精调pre_training文件，两个步骤均训练了25000步，结果部分准确但是混杂了不准确的内容。 损失函数在pt过程中比较正常，但是在sft过程中梯度几乎消失。

依赖情况（代码类问题务必提供）

peft                          0.3.0.dev0
torch                         2.0.1
transformers                  4.30.2
transformers-stream-generator 0.0.4

运行日志或截图

# 请在此处粘贴运行日志

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[bigcash]

是不是第一步和第二步的微调中数据用的是一样的，只不过一个是按无监督，一个是按有监督来做的微调啊

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.