THUDM / WebGLM

WebGLM: An Efficient Web-enhanced Question Answering System (KDD 2023)
Apache License 2.0
1.57k stars 135 forks source link

WebGLM加载最新,chatglm2-6B模型。 #34

Open mikestut opened 1 year ago

mikestut commented 1 year ago

声明export SERPAPI_KEY=“***”后执行如下:

image GPU加载为13GB,是chatglm2-6B模型。 image

mikestut commented 1 year ago

访问结果: image

image 求达人支持!!

mikestut commented 1 year ago

声明export SERPAPI_KEY=“***”后执行如下:

image GPU加载为13GB,是chatglm2-6B模型。 image

历史问题:https://github.com/THUDM/WebGLM/issues/33,双卡目前不支持10B大模型

Longin-Yu commented 1 year ago

你好!WebGLM 使用的并非 6B 的 Chat 模型(ChatGLM-6B 或者 ChatGLM2-6B),而是 2B/10B 的基座模型,你可以使用 THUDM/WebGLM-2B 或 THUDM/WebGLM 载入模型

mikestut commented 1 year ago

你好!WebGLM 使用的并非 6B 的 Chat 模型(ChatGLM-6B 或者 ChatGLM2-6B),而是 2B/10B 的基座模型,你可以使用 THUDM/WebGLM-2B 或 THUDM/WebGLM-10B 载入模

本以为6b能加载就能用,结果还是用不了。基座模型到底是个啥,参数都不一样。

Longin-Yu commented 1 year ago

不同的基座模型架构或参数量不一样,无法混用

luofan18 commented 10 months ago

ChatGLM2-6B的基座模型有开源吗?