该项目token长度存在其他限制？

chatgpt-web-dev / chatgpt-web

A third-party ChatGPT Web UI page built with Express and Vue3, through the official OpenAI completion API. / 用 Express 和 Vue3 搭建的第三方 ChatGPT 前端页面, 基于 OpenAI 官方 completion API.

https://chatgpt-web.dev

MIT License

1.65k stars 443 forks source link

该项目token长度存在其他限制？ #376

Open assassinliujie opened 11 months ago

assassinliujie commented 11 months ago

使用https://platform.openai.com/tokenizer确认了文本的tokens长度为19102，使用gpt-4-1106-preview发现gpt无法根据文本内容回答，使用GPT-3.5-16K也是，疑似存在其他tokens长度限制，可能是为了保持对话完整导致单句token限制？

Kerwin1202 commented 11 months ago

应该不是，你是说的接口不返回还是报错的那种无法回答。默认如果开启了上下文，他还会加载上下文一起发送的，不过这个是底层的一个框架传过去的