search

mr-hanlu / ChatGLM2-ChatDoc

使用gradio、langchain、chroma、chatglm2-6b、text2vec实现文档问答
Apache License 2.0
3 stars 0 forks source link

请问将模型换成量化版的可以吗 #1

Open jhjade opened 1 year ago

jhjade commented 1 year ago

image doc_api.py 复制过去修改后启动成功 image chatdoc 也启动成功,但是对话等操作提示错误 image image

jhjade commented 1 year ago

chat 模式接口输出信息 image

jhjade commented 1 year ago

或许一开始我就错了不应该当成两个项目启动，应该整合到chatdoc中 \chatglm2_doc_code\chatglm2_6b

jhjade commented 1 year ago

image 不知道这样对不对

jhjade commented 1 year ago

不行了，困了，希望作者能指点下 image

mr-hanlu commented 1 year ago

作者失败了，困了，希望能指点下 图像

我刚看了一下，我上传的config.json文件有点问题，已经更新了。量化版本我没测试过，应该是可以的。ui报错没有加载文档是因为选择“doc”是文档对话，需要上传文档才能进行。只问答的话可以选择“chat”

jhjade commented 1 year ago

作者失败了，困了，希望能指点下 图像

我刚看了一下，我上传的config.json文件有点问题，已经更新了。量化版本我没测试过，应该是可以的。ui报错没有加载文档是因为选择“doc”是文档对话，需要上传文档才能进行。只问答的话可以选择“chat”

非常感谢，我再试试