Open tianbo-che opened 1 month ago
我参考文档docs/Yuan2_fastchat.md,进行训练,我的数据格式如下: [{"id": "identity_0", "conversations": [ {"from": "human", "value": "嘿,Bob,你最近看过什么好看的电影吗?"}, {"from": "gpt", "value": "嗯,我上周刚看了《流浪地球2》,简直太棒了!..."}, {"from": "human", "value": "流浪地球是一部很看好的电影,你一定会喜欢的"}, {"from": "gpt", "value": "我一定会喜欢的"} ] }]
当我输出process中的input_ids和target 生成的input_ids是: (human)嘿,Bob,你最近看过什么好看的电影吗? (gpt)嗯,我上周刚看了《流浪地球2》,简直太棒了!... (human)流浪地球是一部很看好的电影,你一定会喜欢的 (gpt)我一定会喜欢的 生成的target是: (human)嘿,Bob,你最近看过什么好看的电影吗? (gpt)嗯,我上周刚看了《流浪地球2》,简直太棒了!... (human)流浪地球是一部很看好的电影,你一定会喜欢的
我的问题是,target不应该是学习gpt的回复吗,为什么我生成的target像是在学习用户的提问
是以下参数的影响吗? --efficient_loss False \ --split_example_loss True \ --last_response_loss False \
我参考文档docs/Yuan2_fastchat.md,进行训练,我的数据格式如下: [{"id": "identity_0", "conversations": [ {"from": "human", "value": "嘿,Bob,你最近看过什么好看的电影吗?"}, {"from": "gpt", "value": "嗯,我上周刚看了《流浪地球2》,简直太棒了!..."}, {"from": "human", "value": "流浪地球是一部很看好的电影,你一定会喜欢的"}, {"from": "gpt", "value": "我一定会喜欢的"} ] }]
当我输出process中的input_ids和target 生成的input_ids是: (human)嘿,Bob,你最近看过什么好看的电影吗?
(gpt)嗯,我上周刚看了《流浪地球2》,简直太棒了!...
(human)流浪地球是一部很看好的电影,你一定会喜欢的
(gpt)我一定会喜欢的
生成的target是:
(human)嘿,Bob,你最近看过什么好看的电影吗?
(gpt)嗯,我上周刚看了《流浪地球2》,简直太棒了!...
(human)流浪地球是一部很看好的电影,你一定会喜欢的
我的问题是,target不应该是学习gpt的回复吗,为什么我生成的target像是在学习用户的提问