LLM Finetune
实验细节看：
准备工作
安装环境：pip install -r requirements.txt
文本分类任务-数据集下载：在huangjintao/zh_cls_fudan-news下载train.jsonl和test.jsonl到根目录下。
命名实体识别任务-数据集下载：在qgyd2021/chinese_ner_sft下载ccfbdci.jsonl到根目录下。
训练
| 模型 | 任务 | 运行命令 | Notebook | 文章 |
|---|---|---|---|---|
| Qwen2-1.5b | 指令微调-文本分类 | python train_qwen2.py | Jupyter Notebook | 知乎 |
| Qwen2-1.5b | 指令微调-命名实体识别 | python train_qwen2_ner.py | Jupyter Notebook | 知乎 |
| GLM4-9b | 指令微调-文本分类 | python train_glm4.py | Jupyter Notebook | 知乎 |
| GLM4-9b | 指令微调-命名实体识别 | python train_glm4_ner.py | Jupyter Notebook | 知乎 |
推理
Qwen2系列：
python predict_qwen2.pyGLM4系列：
python predict_glm4.py引用工具
- SwanLab：AI训练记录、分析与可视化工具