如何添加多轮对话数据做微调

Macielyoung / Bloom-Lora

Finetune Bloom big language model with Lora method

28 stars 2 forks source link

Open nieallen opened 1 year ago

nieallen commented 1 year ago

请问答主，两个角色的多轮对话训练数据如何构建呢？可以给一个示例吗

Macielyoung commented 1 year ago

如果两个角色是user和ai，那可以按照（问: "", 答: ""。问: "", 答: ）这样的输入形式。你也可以看一下BELLE提供的多轮对话数据集形式：https://huggingface.co/datasets/BelleGroup/multiturn_chat_0.8M/viewer/BelleGroup--multiturn_chat_0.8M/train?row=0