search

THUDM / WebGLM

WebGLM: An Efficient Web-enhanced Question Answering System (KDD 2023)
Apache License 2.0
1.57k stars 135 forks source link

webglm10B 是否支持双卡24G的2张？ #33

Open mikestut opened 1 year ago

mikestut commented 1 year ago

webglm2B测试还不错，想用webglm10B，结果报显存不足；单卡要多少G才够？当前有2张GPU 显存是24G，不知道怎么搞可以把10B搞起来。 另外，WEBGLM10B的INT8、INT4，是否有下载？