search

QwenLM / qwen.cpp

C++ implementation of Qwen-LM
Other
506 stars 40 forks source link

💡 [REQUEST] - CPU 的 qwen-cpp 如何封装为一个 http 服务？ #65

Open micronetboy opened 6 months ago

micronetboy commented 6 months ago

起始日期 | Start Date

No response

实现PR | Implementation PR

CPU 的 qwen-cpp 如何封装为一个 http 服务？

相关Issues | Reference Issues

无

摘要 | Summary

无

基本示例 | Basic Example

无

缺陷 | Drawbacks

无

未解决问题 | Unresolved questions

No response

jklj077 commented 6 months ago

如果是要HTTP的API服务的话，qwen-cpp有python binding，openai_api.py的model更换下也许可以。 如果是要HTTP的Web服务的话，web_demo.py应该也是要替换模型创建的部分。

对C实现的模型有需求，建议关注llama.cpp，现在也支持Qwen了，那个的生态也更丰富些。

sheiy commented 6 months ago

@jklj077 麻烦问下。怎么让openai_api.py支持并发请求？

jklj077 commented 6 months ago

@sheiy 本repo中的openai_pai.py支持不了并发哈。如果有并发的需要，建议使用FastChat+vLLM，也可以提供OpenAI API类似的接口。

sheiy commented 6 months ago

@jklj077 多谢