Open ttaop opened 2 months ago
chatglm3-6b 转化的模型,如果提示词变化不大,那么多次生成结果一致。如果我想要每次生成结果随机,是否可以配置呢?目前我运行官方提供的案例fastapiexamples/web_api.py, examples/web_api_client.py,通过配置temperature,tok,top等参数都没有效果。
chatglm3-6b 转化的模型,如果提示词变化不大,那么多次生成结果一致。如果我想要每次生成结果随机,是否可以配置呢?目前我运行官方提供的案例fastapiexamples/web_api.py, examples/web_api_client.py,通过配置temperature,tok,top等参数都没有效果。![{4E8424AE-9B03-4ccc-82E0-B45B71FFCA67}](https://github.com/ztxz16/fastllm/assets/151132985/e59dd498-789d-4e7b-a5d9-786a6d130a2b)