search

lanqian528 / chat2api

A service that can convert ChatGPT on the web to OpenAI API format.
MIT License
1.61k stars 315 forks source link

如何提升响应速度 #41

Closed duansix closed 1 month ago

duansix commented 1 month ago

最低8token的情况下 响应时间也需要8秒多 再开了代理池的情况下 14秒多

各位都有碰到这种情况吗 是怎么解决的 给支个招呗

lanqian528 commented 1 month ago

正常使用原生ip，响应时间只有1.5s左右。 时间较长可能是计算pow和重试造成的。 可以设置环境变量POW_DIFFICULTY=000000试试，直接挑战所有难度的工作量证明，CPU够好就能快

duansix commented 1 month ago

正常使用原生ip，响应时间只有1.5s左右。 时间较长可能是计算pow和重试造成的。 可以设置环境变量POW_DIFFICULTY=000000试试，直接挑战所有难度的工作量证明，CPU够好就能快

设置环境变量POW_DIFFICULTY=000000之后 测试速度没有太大变化 CPU是物理服务器 RS1000 我在考虑是不是 服务器和代理之间通信的问题？还是Arkose响应太慢

lanqian528 commented 1 month ago

那就只有可能是代理太慢了，arkose你可以直接访问 http://127.0.0.1:5006/token 测一下速度，应该是秒出

duansix commented 1 month ago

程序可以支持流式回复吗？

duansix commented 1 month ago

那就只有可能是代理太慢了，arkose你可以直接访问 http://127.0.0.1:5006/token 测一下速度，应该是秒出

arkose确实是秒出的 看来想要优化速度 只能是流式回复和解决代理池了

lanqian528 commented 1 month ago

程序可以支持流式回复吗？

支持的