Closed homelee closed 6 months ago
我在做一个评估系统,系统提示词里定义了对内容进行评估后的输出格式和要求,在运行中,发现输入的内容超过4096后,输出的内容不能够按照系统提示词的要求进行输出,同时发现假如temperature设定低于0.6时,系统提示词也会失效或者推理报错
期望在输入限制内系统提示词都可以起作用
No response
- OS:Ubuntu 20.04 - Python: 3.10 - Transformers: 4.35.0 - PyTorch:2.0.1 - CUDA 11.7:
用的什么模型、用的什么框架?长度支持不同模型、不同框架是不一样的。
是否已有关于该错误的issue或讨论? | Is there an existing issue / discussion for this?
该问题是否在FAQ中有解答? | Is there an existing answer for this in FAQ?
当前行为 | Current Behavior
我在做一个评估系统,系统提示词里定义了对内容进行评估后的输出格式和要求,在运行中,发现输入的内容超过4096后,输出的内容不能够按照系统提示词的要求进行输出,同时发现假如temperature设定低于0.6时,系统提示词也会失效或者推理报错
期望行为 | Expected Behavior
期望在输入限制内系统提示词都可以起作用
复现方法 | Steps To Reproduce
No response
运行环境 | Environment
备注 | Anything else?
No response