search

LLM-Red-Team / qwen-free-api

🚀 阿里通义千问2.5大模型逆向API白嫖测试【特长：六边形战士】，支持高速流式输出、无水印AI绘图、长文档解读、图像解析、多轮对话，零配置部署，多路token支持，自动清理会话痕迹。
https://udify.app/chat/qOXzVl5kkvhQXM8r
GNU General Public License v3.0
552 stars 154 forks source link

流式输出似乎不太正常 #3

Closed Feliks151450 closed 5 months ago

Feliks151450 commented 6 months ago

要等很久才有输出，一输出就是一大段内容，然后又停住，等半天再输出一大段内容。 使用docker命令直接装的，没做什么调整。 也同样装了kimi-free和glm-free，这两个都正常，只有qwen-free流式不正常，应该不是我操作的问题吧，这也没什么可操作的空间了

Vinlic commented 6 months ago

@Feliks151450 qwen的流确实有别于其它两家，是一坨一坨的输出，且首token非常慢，除了他们缓存的结果会快之外，他们前端做了打字机效果处理所以才看上去比较流畅。

Yanyutin753 commented 6 months ago

要不每秒加个sleep一下

Yanyutin753 commented 6 months ago

或者队列缓冲一下哈哈哈哈哈

Vinlic commented 6 months ago

@Yanyutin753 在考虑缓冲区实现

Yanyutin753 commented 6 months ago

@Vinlic 大佬强的哈哈哈哈

spacex-3 commented 6 months ago

或者队列缓冲一下哈哈哈哈哈

佬，有没有兴趣把画图改成跟dalle3一样的接口模式

Vinlic commented 6 months ago

@spacex-3 明晚会搞这个

spacex-3 commented 6 months ago

@spacex-3 明晚会搞这个

收到，那就不等其他佬二开了，直接无缝套用你的项目就行，等大佬更新了！

spacex-3 commented 6 months ago

@spacex-3 明晚会搞这个

其他那几个项目有绘图的其实也可以搞搞的，用处就大很多啦

Vinlic commented 6 months ago

@spacex-3 是一起搞的

spacex-3 commented 6 months ago

@spacex-3 是一起搞的

many thanks!

Vinlic commented 5 months ago

@spacex-3 0.0.5版本已经支持/v1/images/generations接口

Vinlic commented 5 months ago

最新版本 0.0.9 已经优化，流响应首token耗时缩短，输出流畅度提升。 切换HTTP/2优化流响应速度