search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.95k stars 363 forks source link

微调后怎么启动一个api server供外部调用？ #37

Closed bh4ffu closed 1 year ago

bh4ffu commented 1 year ago

请问，微调后怎么启动一个api server供外部调用？

bh4ffu commented 1 year ago

https://github.com/THUDM/ChatGLM-6B/blob/main/api.py 准备参考这里的写法

cywjava commented 1 year ago

自己写一个flask ，web服务就行了