search

chatdoc-com / ChatDOC-API-Demo

36 stars 11 forks source link

问题回答速度慢 #9

Open ljcljc opened 6 months ago

ljcljc commented 6 months ago

我上传了20多个文件，然后提问，有的需要13秒，如何能够缩短时间，并且有什么好的优化建议？

有时候单个文件提问也会很慢，在提高响应速度这方面，有什么建议，谢谢

Ronalci commented 6 months ago

请问您是指提问后至开始返回答案的耗时是13秒左右么？

如果是，请您帮忙确认以下内容：

  1. 您本地网络与chatdoc.com之间的网络时延
  2. 问题包类型

如果您是指提问后至答案输出完毕的时间，请确认回答问题是否开启了流式输出。

ljcljc commented 6 months ago

你好，我的服务器放在阿里云的香港地区。问题没有开启流式输出，请问有什么好的办法吗？ 问题包是pdf，文件类型哪种会比较快

Ronalci commented 6 months ago
  1. 请在您服务器本地ping一下api.chatdoc.com
  2. 然后再在您本地ping一下到您服务器

PDF属于页数包，分为lite、elite、basic，只与PDF解析速度有关、和回答速度无关

问题包是GPT-4么？

ljcljc commented 6 months ago

问题包是gpt3.5turbo

ping的结果如下

ping api.chatdoc.com PING api.chatdoc.com (47.251.5.128) 56(84) bytes of data. 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=1 ttl=53 time=153 ms 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=2 ttl=53 time=153 ms 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=3 ttl=53 time=153 ms 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=4 ttl=53 time=153 ms 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=5 ttl=53 time=153 ms 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=6 ttl=53 time=153 ms 64 bytes from 47.251.5.128 (47.251.5.128): icmp_seq=7 ttl=53 time=153 ms

Ronalci commented 6 months ago

然后再在您本地ping一下到您服务器

请测试下⬆️

然后请提供几个回答耗时长的question_id

ljcljc commented 6 months ago

5712453, 5711883, 5711909, 5712399

Ronalci commented 6 months ago

建议开启流式输出模式，体验上会返回的更快一些。

ljcljc commented 6 months ago

除了流式输出模式，有没有其他的建议，或者如何优化

ljcljc commented 6 months ago

有两个问题

  1. 现在传送对话历史，是通过history里面把历史对话的内容给附上，如果字数比较多会比较慢，是否支持传入question id来直接获取这个question的历史对话记录
  2. 如果我传送多个文件，是否支持多个文件里面的优先级，比如优先使用某个文件的内容。 谢谢
ljcljc commented 6 months ago

1.多轮对话是否可以通过返回“Get question ID”的方式实现，而不是每次返回前面的所有对话内容；2.同时对多个文件问答时，设定对一个文件ID作为主要目标文件进行问答，没有相关内容时再对其他文件进行检索；

这两个问题麻烦之后放到排期里面，谢谢。