search

charent / ChatLM-mini-Chinese

中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。
Apache License 2.0
1.22k stars 146 forks source link

这个模型好像没有长文对话的能力，该如何训练它让它有这个能力？ #43

Closed Liuxinhao12 closed 6 months ago

charent commented 6 months ago

那估计得从预训练开始就得用长文本了，受限于手上的设备，我预训练的文本最长不超过320😂