search

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程
Apache License 2.0
6.51k stars 798 forks source link

chatglm3-6b fastapi调用 #74

Closed caixiongjiang closed 3 months ago

caixiongjiang commented 3 months ago

使用hugging-face上的https://huggingface.co/THUDM/chatglm3-6b 参考了chatglm3-6b的fastapi代码，调用结果如下：

提示词输入： <|system|> You are an artificial intelligence assistant. <|user|> 你好，请给我讲一个故事 <|assistant|>

history=[]

response输出为 "1一个人，请注意，请注意，表达式微带状如题当前时间是相关的函数式微带状如题目前所经超时而在��"

可能的原因有什么？

caixiongjiang commented 3 months ago

已经解决，发现该模型支持的好像是fp16，所以需要使用.half()而不是.to(bfloat16)