search

hikariming / chat-dataset-baseline

人工精调的中文对话数据集和一段chatglm的微调代码
1.13k stars 95 forks source link

你好，如何使用 fastapi 部署微调后的模型。就像官方的一样，如何修改api.py的脚本？？？ #51

Open cristianohello opened 1 year ago

cristianohello commented 1 year ago

你好，如何使用 fastapi 部署微调后的模型 就像官方的一样。如何修改api.py的脚本？？？ 官方的如下： 首先需要安装额外的依赖 pip install fastapi uvicorn，然后运行仓库中的 api.py： python api.py 默认部署在本地的 8000 端口，通过 POST 方法进行调用

curl -X POST "http://127.0.0.1:8000" \ -H 'Content-Type: application/json' \ -d '{"prompt": "你好", "history": []}'

hikariming commented 1 year ago

不好意思哈，我们没有做过web化相关的研究，只拿来做了学术上的测试和验证，你可以去chatglm的issue那边问问？