search

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程
Apache License 2.0
8.24k stars 986 forks source link

关于模型的api部署，能否推出高性能的异步版本、例如使用vllm、或者fastchat等工具 #70

Closed lzh1998-jansen closed 3 months ago

lzh1998-jansen commented 6 months ago

关于模型的api部署，能否推出高性能的异步版本、例如使用vllm、或者fastchat等工具

KMnO4-zx commented 6 months ago

好的，感谢建议，后续将考虑推出~