Open tiwentichat opened 1 year ago
之前在一个分支上有尝试适配,重构了蛮多,但存在一些问题,后面论文25号送审了继续着手做这一块
之前在一个分支上有尝试适配,重构了蛮多,但存在一些问题,后面论文25号送审了继续着手做这一块
感谢!期待!
先说结论,没法实现部署到vercel上
之前有尝试过重构代码部署到vercel上,分支名为deploy_on_vercel,只能回答一些极短的问题且不会流式显示,问的问题一旦复杂就会出现超时错误
今天仔细看了下相关文档,vercel的severless function虽然支持Python后端,但是不支持流式http传输,且个人免费版本仅提供5秒的接口处理时间,而gpt的api的回复往往会超过这个时间因此会超时
vercel的edge function支持流式传输,但是目前看到好像仅支持node.js的后端,官方未给出Python后端如何开启edge function
因此,该仓库目前没有办法正常部署到vercel上,api的回答一旦变长,vercel会出现超时调用而停止
先说结论,没法实现部署到vercel上
之前有尝试过重构代码部署到vercel上,分支名为deploy_on_vercel,只能回答一些极短的问题且不会流式显示,问的问题一旦复杂就会出现超时错误
今天仔细看了下相关文档,vercel的severless function虽然支持Python后端,但是不支持流式http传输,且个人免费版本仅提供5秒的接口处理时间,而gpt的api的回复往往会超过这个时间因此会超时
vercel的edge function支持流式传输,但是目前看到好像仅支持node.js的后端,官方未给出Python后端如何开启edge function
因此,该仓库目前没有办法正常部署到vercel上,api的回答一旦变长,vercel会出现超时调用而停止
昂,我也是了一下确实不好搞。感谢大佬回复!
websocket 方式试过吗
大佬,可以加一个vercel部署方式嘛