search

diemus / azure-openai-proxy

A proxy for Azure OpenAI API that can convert an OpenAI request into an Azure OpenAI request.
MIT License
629 stars 67 forks source link

无法开启流式，没有打字机效果 #6

Closed yinm0591 closed 1 year ago

yinm0591 commented 1 year ago

与ChatGPT-Next-Web连接，能访问，但是无法开启流式，没有打字机效果。有没有解决的办法？

diemus commented 1 year ago

这块原因有两个：

  1. 考虑可能是你的前置代理不支持，比如nginx，一般需要特殊配置才能支持，有个issue我忘记哪里看到了。
  2. 由于azure的接口目前虽然支持stream的参数，但是返回的时候不想openai那样，而是卡顿一会，一次返回一大段，所以目前没有逐字打字机效果的问题没什么好办法。不知道以后会不会修复
diemus commented 1 year ago

微软问题接口已解决

t4ng commented 1 year ago

azure便秘然后拉稀的问题有啥办法吗

lishq commented 1 year ago

怎么解决的啊大佬

EkkoKin commented 1 year ago

怎么解决的啊老板？返回还是一大段一大段的返回呀？

lishq commented 1 year ago

怎么解决的啊老板？返回还是一大段一大段的返回呀？

自己模拟一个打字机效果吧。主要是开始的响应时间有点慢哦。差不多有个七八秒返回。

johnsonperl commented 11 months ago

Azure 即使开启流式模式，文字也是一块块出来的，这是因为Azure加了一层敏感词过滤。我们找微软的人关闭了这层过滤（在部署的模型选项中，内容筛选器会出现一个Microsoft.Nil的选项，选中就好了），然后效果就和ChatGPT一样了，有打字效果。关闭这层过滤的方法，目前只能找微软的人。

winxuan commented 3 months ago

24年挖一下，微软有个异步筛选器的玩意，可以配置，贴个我写的配置帖子https://winxuan.github.io/posts/azure-openai-content-stream-processing/

potatoHHHH commented 1 month ago

24年挖一下，微软有个异步筛选器的玩意，可以配置，贴个我写的配置帖子https://winxuan.github.io/posts/azure-openai-content-stream-processing/

真的有效！