为什么转换成{context:"",target:""}的格式？是哪里定义的吗？

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案

MIT License

3.73k stars 440 forks source link

Open ze00ro opened 1 year ago

ze00ro commented 1 year ago

您好，感谢分享

原来alpaca的格式是 instruction,input,output, 为什么转换了context,target的格式呢？我看train的代码也没解析这个格式，是把这个格式直接train了么？为什么是这个格式呢？

我现在对finetune的格式一头雾水。

谢谢

Skywalker-Harrison commented 1 year ago

这个应该就是dict中pair的keys, 可以自己改的，不过很麻烦

mymusise commented 1 year ago

因为chatglm只有两部分，输入和输出，key的名字可以顺便改，对应的处理流程修改下就可以

zzy347964399 commented 1 year ago

您好，感谢分享

原来alpaca的格式是 instruction,input,output, 为什么转换了context,target的格式呢？我看train的代码也没解析这个格式，是把这个格式直接train了么？为什么是这个格式呢？

我现在对finetune的格式一头雾水。

谢谢

因为在convertxxxxxx的那个py里面定义了，把json转成jsonl格式