search

01-ai / Yi

A series of large language models trained from scratch by developers @01-ai
https://01.ai
Apache License 2.0
7.61k stars 470 forks source link

如何用oobabooga / text-generation-webui来加载Yi模型呢？ #72

Closed quartets closed 10 months ago

quartets commented 10 months ago

我试了很多参数组合都加载不成功。

JamesFlare1212 commented 10 months ago

有一个 GGUF 格式的可以用 https://huggingface.co/TheBloke/Yi-34B-GGUF/tree/main

quartets commented 10 months ago

我的服务器是T4 16G VRAM from google colab, 试了2bit、3bit的Yi-34B-GGUF，都freeze状态，等待5分钟也才输出这样一行：

You 你好。

AI

いた You 请问你是谁？ AI しれるのは私の役割ですから。 You Hi AI はいってませ 我也试了the bloke发布的[GPTQ]版本，用的参数是 --wbits 3, 但每次都报OOM，或者tokenizer对齐问题。 我还是想等6B的GGUF吧。
krisshen2021 commented 10 months ago

theBloke 出了GPTQ的，在text-gen里用transformer的model loader, 启动text-gen时，要加--trust-remote-code的flag, 然后在transformer的loading参数里勾选disable_exllama.