如何用oobabooga / text-generation-webui来加载Yi模型呢？

[quartets]

我试了很多参数组合都加载不成功。

[JamesFlare1212]

有一个 GGUF 格式的可以用 https://huggingface.co/TheBloke/Yi-34B-GGUF/tree/main

[quartets]

我的服务器是T4 16G VRAM from google colab, 试了2bit、3bit的Yi-34B-GGUF，都freeze状态，等待5分钟也才输出这样一行：

You 你好。

AI

いた You 请问你是谁？ AI しれるのは私の役割ですから。 You Hi AI はいってませ 我也试了the bloke发布的[GPTQ]版本，用的参数是 --wbits 3, 但每次都报OOM，或者tokenizer对齐问题。 我还是想等6B的GGUF吧。

[krisshen2021]

theBloke 出了GPTQ的，在text-gen里用transformer的model loader, 启动text-gen时，要加--trust-remote-code的flag, 然后在transformer的loading参数里勾选disable_exllama.