linjungz / chat-with-your-doc

Chat with your docs in PDF/PPTX/DOCX format, using LangChain and GPT4/ChatGPT from both Azure OpenAI Service and OpenAI
140 stars 48 forks source link

大佬,我想问下你这个装本地对显存最低要求多少?我有azure openai的账号,但是机子的显存只有8G,而且你这个向量数据库用的哪家的?readme里没看出来啊 #10

Closed lb1223 closed 1 year ago

lb1223 commented 1 year ago

建议直接上aotuDL 国内,或者rander国外 一镜像 直接就能大规模上了 flowise 就是这么火起来的

linjungz commented 1 year ago

embedding是用Azure OpenAI 提供的 不需要在本机做,所以本机不需要显存的 向量数据库选择很多 代码里接入的是FAISS langchain能支持的向量数据库很多

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: lb1223 @.> 发送时间: 2023年6月16日 23:02 收件人: linjungz/chat-with-your-doc @.> 抄送: Subscribed @.***> 主题: Re: [linjungz/chat-with-your-doc] 大佬,我想问下你这个装本地对显存最低要求多少?我有azure openai的账号,但是机子的显存只有8G,而且你这个向量数据库用的哪家的?readme里没看出来啊 (Issue #10)

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

lb1223 commented 1 year ago

OK 我小白 部署试试( ̄▽ ̄)"谢谢大佬分享

lb1223 commented 1 year ago

wenda 和langchain-ChatGLM 的表现都差强人意,就是向量数据库没接pinecone之类的 加上模型不太好