search

charent / ChatLM-mini-Chinese

中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。
Apache License 2.0
1.13k stars 135 forks source link

考虑出一个支持llama的版本吗 #39

Closed leondada closed 5 months ago

charent commented 5 months ago

有类似的，decoder-only架构的模型：Phi2-mini-Chinese。纯llama版本没有考虑做。