search

THUDM / ChatGLM-6B

ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
Apache License 2.0
40.47k stars 5.19k forks source link

[BUG/Help] <如何对生成结果产生一个置信度分数> #1368

Open foreverxujiahuan opened 1 year ago

foreverxujiahuan commented 1 year ago

Is there an existing issue for this?

Current Behavior

当前的生成方式并不会返回一个生成结果的得分，请问有办法可以返回一个生成结果的置信度吗？

Expected Behavior

No response

Steps To Reproduce

-

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

1028686314 commented 1 year ago

你好 请问你解决了吗 我也想要输出结果的置信度

foreverxujiahuan commented 1 year ago

目前使用给产生的分数加上一个softmax的方法可以获得分数，看起来是可靠的。但是我的写法时间复杂度太高，目前还没有什么好的解决方法

xuzf-git commented 1 year ago

可以参考一下这个https://github.com/THUDM/ChatGLM-6B/issues/1257#issuecomment-1689780953