wxywb / history_rag

825 stars 108 forks source link

这个情况是什么情况 历史爱好者不懂编程 #21

Open ppfanga opened 7 months ago

ppfanga commented 7 months ago

api 我是有的 GPT4的 也安装在 系统变量里了 open ai 的包也升级过了 ,不知道这个问题怎么处理 4a02428aab5ed268b614b49cca0bcba 27b6ebc2b4427e5ce3f9fd4c41faa2b 912744297bfdfa3379b5de5b30b862a b6c84eb72dcdd2d247a5272e1698e3b

wxywb commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本
  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头
  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗
sczhai commented 7 months ago

感谢作者分享!请问我部署到这里向量数据库,就出错,如何解决? (rag) 选择[milvus|pipeline]方案 (rag) milvus image

sczhai commented 7 months ago

我这里是Windows环境,我也配置了环境变量,但是上述错误还是存在,恳请前辈们指点,谢谢! (rag) C:\Users\zsc\Desktop\RAGDemo\history_rag-master>echo %HF_ENDPOINT% https://hf-mirror.com

(rag) C:\Users\zsc\Desktop\RAGDemo\history_rag-master>

wxywb commented 7 months ago

我这里是Windows环境,我也配置了环境变量,但是上述错误还是存在,恳请前辈们指点,谢谢! (rag) C:\Users\zsc\Desktop\RAGDemo\history_rag-master>echo %HF_ENDPOINT% https://hf-mirror.com

(rag) C:\Users\zsc\Desktop\RAGDemo\history_rag-master>

参考一下faq里的问题,试试 huggingface-cli download --resume-download BAAI/bge-base-zh-v1.5 huggingface-cli download --resume-download BAAI/bge-reranker-large

sczhai commented 7 months ago

谢谢回复!经过一番摸索,总算运行了,但是最后不能问答,是不是我的OpenAI key 不能用?我准备试试千问模型了

File "D:\RAGDemo\rag\lib\site-packages\httpcore\_exceptions.py", line 14, in map_exceptions raise to_exc(exc) from exc httpcore.ConnectError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。 openai.APIConnectionError: Connection error. image

ppfanga commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本

  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头

  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗

  4. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗 用这个就好了 , 不能用 GPT4.0以上的版本吗? 答主(我的GPT 账号是有 4 的 。应该是还有 key 把)

sczhai commented 7 months ago

好的,感谢前辈们答复!我试试

ppfanga commented 7 months ago

我这里是Windows环境,我也配置了环境变量,但是上述错误还是存在,恳请前辈们指点,谢谢! (rag) C:\Users\zsc\Desktop\RAGDemo\history_rag-master>echo %HF_ENDPOINT% https://hf-mirror.com (rag) C:\Users\zsc\Desktop\RAGDemo\history_rag-master>

参考一下faq里的问题,试试 huggingface-cli download --resume-download BAAI/bge-base-zh-v1.5 huggingface-cli download --resume-download BAAI/bge-reranker-large

sczhai commented 7 months ago

我这OpenAI 版本: openai 1.10.0

api key, 能看到sk-xxxxxx开头 ,但是不知道3.0 版本 还是3.5 版本

我已改为gpt-3.5-turbo-1106, 还是报错 openai.APIConnectionError: Connection error.

不知道可要再下载这个模型了?

wxywb commented 7 months ago

我这OpenAI 版本: openai 1.10.0

api key, 能看到sk-xxxxxx开头 ,但是不知道3.0 版本 还是3.5 版本

我已改为gpt-3.5-turbo-1106, 还是报错 openai.APIConnectionError: Connection error.

不知道可要再下载这个模型了?

这个不是模型,你是在官网买的,还是买的中转站。

sczhai commented 7 months ago

感谢作者回复(我刚才也给您发邮件请教问题了),之前其他人给我的key,具体版本不清楚,我准备重新申请GPT4, 刚才我换为 千问,终于可以了,再次感谢大家! image

ppfanga commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本
  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头
  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗

运行起来了,但是不可以用GPT 4.0 以上的版本了吗? (3.5的回答的太差强人意了)

sczhai commented 7 months ago

我还没有GPT 的key,我再试试重新申请,之前别人给的,不能用。

wxywb commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本
  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头
  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗

运行起来了,但是不可以用GPT 4.0 以上的版本了吗? (3.5的回答的太差强人意了)

你可以换回去试一下,如果用不了gpt-4,估计就是你的账号无法访问gpt-4

sczhai commented 7 months ago

请问我刚才这里创建key,就是默认支持3.5 吗? 每个key, 限制$5? image 这里限制,不知道什么意思? image 之前申请的,好像过期了? image

sczhai commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本
  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头
  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗

运行起来了,但是不可以用GPT 4.0 以上的版本了吗? (3.5的回答的太差强人意了)

在千问模型下,我这边问答,很慢,要等2分钟才出来结果,请问你那边测试效果如何?

wxywb commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本
  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头
  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗

运行起来了,但是不可以用GPT 4.0 以上的版本了吗? (3.5的回答的太差强人意了)

在千问模型下,我这边问答,很慢,要等2分钟才出来结果,请问你那边测试效果如何?

也许是由于需要gpu导致的,embedding模型和reranker模型都是需要gpu来运行的,如何确认这一点,你可以用ask -d 1.计算embedding,计算rerank 2.出现相关语料 3.出现回答 你可以看看是不是到第二步时间很长,这样的话是由于算力导致的。

sczhai commented 7 months ago

再次感谢回复!我是本地CPU 笔记本电脑,Docker 运行向量数据库,CPU 占比5% 左右。总体我熟悉了 流程。另外,WebUI 端,还不了解怎么启动

wxywb commented 7 months ago

再次感谢回复!我是本地CPU 笔记本电脑,Docker 运行向量数据库,CPU 占比5% 左右。总体我熟悉了 流程。另外,WebUI 端,还不了解怎么启动

https://github.com/wxywb/history_rag/blob/master/docs/web_ui.md

pip install gradio python gradioui.py 然后打开浏览器,输入地址 http://127.0.0.1:7860

wxywb commented 7 months ago

这个社区贡献的,等我有空的时候会优化一下的

sczhai commented 7 months ago

这个社区贡献的,等我有空的时候会优化一下的

好的,感谢,我试试。

ppfanga commented 7 months ago
  1. 执行pip show setuptools | findstr "openai" 看一下你的openai 版本
  2. echo %OPENAI_API_KEY% 你看一下能不能看到你的 api key, 以sk-xxxxxx开头
  3. 在2能看见的情况下,将configs/config.yaml 中的第二行换为由“gpt-4”(最新应该是gpt-4-0125-preview"")改为“gpt-3.5-turbo-1106”,看一下会报错吗

运行起来了,但是不可以用GPT 4.0 以上的版本了吗? (3.5的回答的太差强人意了)

你可以换回去试一下,如果用不了gpt-4,估计就是你的账号无法访问gpt-4

没有别的处理方法吗 答主 ,好可惜的~~~~(我已经试过用GPT4.0 还有最新的 ,但是还是不行 )

sczhai commented 7 months ago

再次感谢回复!我是本地CPU 笔记本电脑,Docker 运行向量数据库,CPU 占比5% 左右。总体我熟悉了 流程。另外,WebUI 端,还不了解怎么启动

https://github.com/wxywb/history_rag/blob/master/docs/web_ui.md

pip install gradio python gradioui.py 然后打开浏览器,输入地址 http://127.0.0.1:7860 我能看到UI页面了 image 但是启动 报个错误:httpcore.ConnectTimeout: timed out

wxywb commented 7 months ago

@sczhai 你关于webui可以开一个新issue,我之后来看一下,这个我先关了

sczhai commented 7 months ago

@sczhai 你关于webui可以开一个新issue,我之后来看一下,这个我先关了

好的

wxywb commented 7 months ago

@ppfanga 你现在的错误还和之前一样的吗

sczhai commented 7 months ago

@sczhai 你关于webui可以开一个新issue,我之后来看一下,这个我先关了

好的

我关掉工具,可以正常访问WebUI 页面了,多有打扰,实在抱歉。 麻烦把我刚才提的issue删除吧,我好像没有权限

ppfanga commented 7 months ago

@ppfanga 你现在的错误还和之前一样的吗

(rag) 选择[milvus|pipeline]方案 (rag) milvus C:\Users\86199.conda\envs\myenv\lib\site-packages\torch_utils.py:831: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly. To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage() return self.fget.get(instance, owner)() (rag) milvus模式已选择 1.使用build data/history_24/baihuasanguozhi.txt来进行知识库构建。 2.已有索引可以使用ask进行提问, -d参数以debug模式进入。 3.删除已有索引可以使用remove baihuasanguozhi.txt。 (rag) ask (rag) 问题: 关羽的家庭几口人 Traceback (most recent call last): File "cli.py", line 120, in cli.run() File "cli.py", line 53, in run self.parse_input(command_text) File "cli.py", line 74, in parse_input self.question_answer() File "cli.py", line 109, in question_answer self.query(question) File "cli.py", line 86, in query ans = self._executor.query(question) File "D:\history\history_rag-master\executor.py", line 215, in query response = self.query_engine.query(question) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\core\base_query_engine.py", line 40, in query return self._query(str_or_query_bundle) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\query_engine\retriever_query_engine.py", line 172, in _query response = self._response_synthesizer.synthesize( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\response_synthesizers\base.py", line 168, in synthesize response_str = self.get_response( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\response_synthesizers\compact_and_refine.py", line 38, in get_response return super().get_response( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\response_synthesizers\refine.py", line 146, in get_response response = self._give_response_single( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\response_synthesizers\refine.py", line 202, in _give_response_single program( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\response_synthesizers\refine.py", line 64, in call answer = self._llm.predict( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\llms\llm.py", line 239, in predict chat_response = self.chat(messages) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\llms\base.py", line 100, in wrapped_llm_chat f_return_val = f(_self, messages, kwargs) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\llms\openai.py", line 237, in chat return chat_fn(messages, kwargs) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\llama_index\llms\openai.py", line 296, in _chat response = client.chat.completions.create( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\openai_utils_utils.py", line 271, in wrapper return func(*args, **kwargs) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\openai\resources\chat\completions.py", line 659, in create return self._post( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\openai_base_client.py", line 1180, in post return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls)) File "C:\Users\86199.conda\envs\myenv\lib\site-packages\openai_base_client.py", line 869, in request return self._request( File "C:\Users\86199.conda\envs\myenv\lib\site-packages\openai_base_client.py", line 960, in _request raise self._make_status_error_from_response(err.response) from None openai.NotFoundError: Error code: 404 - {'error': {'message': 'The model gpt-4 does not exist or you do not have access to it. Learn more: https://help.openai.com/en/articles/7102672-how-can-i-access-gpt-4.', 'type': 'invalid_request_error', 'param': None, 'code': 'model_not_found'}} (我不太懂 但是报告是这样子的还是之前那个位置 ask 之后就是如此 )

wxywb commented 7 months ago

@ppfanga

from openai import OpenAI
client = OpenAI()

completion = client.chat.completions.create(
  model="gpt-4-0125-preview",
  messages=[
    {"role": "system", "content": "You are a poetic assistant, skilled in explaining complex programming concepts with creative flair."},
    {"role": "user", "content": "Compose a poem that explains the concept of recursion in programming."}
  ]
)

print(completion)

新建一个文件,叫main.py 把上面的内容放进去保存,然后执行

python main.py
ppfanga commented 7 months ago

@ppfanga

from openai import OpenAI
client = OpenAI()

completion = client.chat.completions.create(
  model="gpt-4-0125-preview",
  messages=[
    {"role": "system", "content": "You are a poetic assistant, skilled in explaining complex programming concepts with creative flair."},
    {"role": "user", "content": "Compose a poem that explains the concept of recursion in programming."}
  ]
)

print(completion)

新建一个文件,叫main.py 把上面的内容放进去保存,然后执行

python main.py

057f1767102e17131bc6f941fced9ca fc78ccce81764182be0d8c8ff3ac150 (遇到这个情况!@ A @) %S}}LJ56F2W (P`15)OU{R7

sczhai commented 7 months ago

@ppfanga

from openai import OpenAI
client = OpenAI()

completion = client.chat.completions.create(
  model="gpt-4-0125-preview",
  messages=[
    {"role": "system", "content": "You are a poetic assistant, skilled in explaining complex programming concepts with creative flair."},
    {"role": "user", "content": "Compose a poem that explains the concept of recursion in programming."}
  ]
)

print(completion)

新建一个文件,叫main.py 把上面的内容放进去保存,然后执行

python main.py

我把上述模型,换为:model="gpt-3.5-turbo"

api_key=os.environ.get("OPENAI_API_KEY")
client = OpenAI(
   api_key=os.environ.get("OPENAI_API_KEY"),
)

单独运行找个程序,梯子也在,但还是报错 openai.APIConnectionError: Connection error. 请问我哪里出错?

wxywb commented 7 months ago

@ppfanga 这是openai的官方示例程序,这说明你的账户无法访问gpt-4,你得需要先搞定这个(找卖你账户的人)。

sczhai commented 7 months ago

有梯子,还需要代理吗? 目前需要设置代理才可以访问 api

os.environ["HTTP_PROXY"] = "http://127.0.0.1:33210"
os.environ["HTTPS_PROXY"] = "http://127.0.0.1:33210"
os.environ["ALL_PROXY"] = "socks5://127.0.0.1:33211"

程序中配置以上,还是不行,还是 httpx.ConnectError: [WinError 10061] 由于目标计算机积极拒绝,无法连接。 openai.APIConnectionError: Connection error.

wxywb commented 7 months ago

@sczhai 你用的是api_base吗

sczhai commented 7 months ago

api_base

我就在这里申请的key: https://platform.openai.com/api-keys 上述程序,换为 3.5 ,参考这里:https://blog.csdn.net/laoyang360/article/details/135579132 单独运行程序,还是报错openai.APIConnectionError: Connection error. 和下午调试 RAGDemo 问答,最后报错 一样的

wxywb commented 7 months ago

好吧,那看来是由于复杂的网络原因导致的,我不是这方面的专家(我的环境不是在国内),可以多搜一些材料,或者加入使用openai的人的群咨询一下

sczhai commented 7 months ago

感谢作者耐心解答!都快过年了,我们几位还在这里热火朝天的研究。 我主要也是最近刚接触 LLM+RAG,所以想尝试跑通一个案例。

BetterAndBetterII commented 7 months ago

api_base

我就在这里申请的key: https://platform.openai.com/api-keys 上述程序,换为 3.5 ,参考这里:https://blog.csdn.net/laoyang360/article/details/135579132 单独运行程序,还是报错openai.APIConnectionError: Connection error. 和下午调试 RAGDemo 问答,最后报错 一样的

这个的原因应该是python程序不能直接用电脑的vpn代理,所以你可能要用一个中转的api,你可以上网查找阿里云或者腾讯云反向代理openai api的教程或者换用一个中转api提供商

sczhai commented 6 months ago

api_base

我就在这里申请的key: https://platform.openai.com/api-keys 上述程序,换为 3.5 ,参考这里:https://blog.csdn.net/laoyang360/article/details/135579132 单独运行程序,还是报错openai.APIConnectionError: Connection error. 和下午调试 RAGDemo 问答,最后报错 一样的

这个的原因应该是python程序不能直接用电脑的vpn代理,所以你可能要用一个中转的api,你可以上网查找阿里云或者腾讯云反向代理openai api的教程或者换用一个中转api提供商

感谢前辈指点!我回来再试试。