search

THUDM / ChatGLM2-6B

ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
Other
15.65k stars 1.85k forks source link

请问现在大家目前有微调的效果比较好的方案吗，目前微调效果一直不理想。 #665

Open nevesaynever1 opened 5 months ago

nevesaynever1 commented 5 months ago

Is there an existing issue for this?

Current Behavior

尝试了很多参数，数据集也优化了多次，从刚开始数据长短不一到现在基本在100-200字左右，但是微调之后的模型效果一直不好，请问大家有微调之后的模型比较好的吗，可以交流一下。（PS：也尝试了提供的示例数据集，效果也不理想（用的默认参数）。）

Expected Behavior

No response

Steps To Reproduce

No

Environment

- OS:
- Python:3.9
- Transformers: 4.30.2
- PyTorch: 2.0.1
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response