search

vivo-ai-lab / BlueLM

BlueLM(蓝心大模型): Open large language models developed by vivo AI Lab
https://developers.vivo.com/product/ai/bluelm
Other
846 stars 58 forks source link

Feature Request OpenAi Api 兼容的 demo 程序 #4

Closed Liangdi closed 7 months ago

Liangdi commented 11 months ago

目前做了基本测试，希望能有一个 openai api 兼容版本可以集成第三方程序，谢谢

JoeyHeisenberg commented 11 months ago

具体是指需要我们demo程序集成 OpenAI api的意思么？目前我们只是简单搭建了demo页面而已，用户可以基于我们的demo版本进行开发

Liangdi commented 11 months ago

具体是指需要我们demo程序集成 OpenAI api的意思么？目前我们只是简单搭建了demo页面而已，用户可以基于我们的demo版本进行开发

给您个参考： https://github.com/THUDM/ChatGLM3/blob/main/openai_api.py

shell-nlp commented 11 months ago

目前做了基本测试，希望能有一个 openai api 兼容版本可以集成第三方程序，谢谢

我一般就用这个 https://github.com/ssbuild/aigc_serving 将模型转化为 openai api 我已经测试过了 可以用

Liangdi commented 11 months ago

目前做了基本测试，希望能有一个 openai api 兼容版本可以集成第三方程序，谢谢

我一般就用这个 https://github.com/ssbuild/aigc_serving 将模型转化为 openai api 我已经测试过了 可以用

ok 我去试试，谢谢

hanpenggit commented 11 months ago

试了一下aigc_serving，调用报错 @shell-nlp AttributeError: 'BlueLMTokenizer' object has no attribute 'sp_model'

shell-nlp commented 11 months ago

你可以提一个issue 这个作者回复很及时 我没遇到这个问题

---原始邮件--- 发件人: @.> 发送时间: 2023年11月17日(周五) 下午5:32 收件人: @.>; 抄送: @.**@.>; 主题: Re: [vivo-ai-lab/BlueLM] Feature Request OpenAi Api 兼容的 demo 程序 (Issue #4)

试了一下aigc_serving，调用报错 @shell-nlp AttributeError: 'BlueLMTokenizer' object has no attribute 'sp_model'

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

hanpenggit commented 11 months ago

已经解决 @shell-nlp ,需要重新安装下 pip install transformers==4.33.*，可以正常调用了

darknesscho commented 11 months ago

还是希望模型官方能出一个Openai API的兼容性py脚本，我折腾aigc_serving不成功，好像Windows11不能跑，得Linux。

shell-nlp commented 11 months ago

哈哈， 默认linux 或者你使用windons上面的wsl

---原始邮件--- 发件人: @.> 发送时间: 2023年11月22日(周三) 下午3:38 收件人: @.>; 抄送: @.**@.>; 主题: Re: [vivo-ai-lab/BlueLM] Feature Request OpenAi Api 兼容的 demo 程序 (Issue #4)

还是希望模型官方能出一个Openai API的兼容性py脚本，我折腾aigc_serving不成功，好像Windows11不能跑，得Linux。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>