THUDM / ChatGLM2-6B

ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
Other
15.71k stars 1.85k forks source link

多种prompt语料类型同时训练会影响准确度? #578

Open RainBowHEric opened 1 year ago

RainBowHEric commented 1 year ago

Is there an existing issue for this?

Current Behavior

使用多种类型的prompt语料对模型进行了微调 发现prompt类型多了之后,会影响任务的推理准确率 不知道这个问题有没有好的解决方案

Expected Behavior

No response

Steps To Reproduce

prompt类型 例: 类型1:想让模型从已知分类类型中 帮我对输入内容进行分类 类型2:希望模型可以按指定规律截取对应的字符串 。。。

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response