本地加载模型室提示找不到 model_config.json

frnksmdlkedjnfr commented 1 year ago

如题，使用的虚拟环境，已经安装所需依赖。在 HuggingFace 上下载的模型，放置到本地文件夹 /data/models/THUDM/visualglm-6b 中。修改 cli_demo.py：

def main():
    ...
    # load model
    model, model_args = VisualGLMModel.from_pretrained(
        "/data/models/THUDM/visualglm-6b",
        args=argparse.Namespace(
        fp16=True,
        skip_init=True,
        use_gpu_initialization=True if (torch.cuda.is_available() and args.quant is None) else False,
        device='cuda' if (torch.cuda.is_available() and args.quant is None) else 'cpu',
        local_files_only=1,
    ))
    ...
    tokenizer = AutoTokenizer.from_pretrained("/data/models/THUDM/visualglm-6b", local_files_only=1, trust_remote_code=True)
    ...

2023-05-18_18-47-23_VisualGLM-6B – cli_demo py

运行 cli_demo.py 时报错如下：

Traceback (most recent call last):
  File "/data/VisualGLM-6B/cli_demo.py", line 100, in <module>
    main()
  File "/data/VisualGLM-6B/cli_demo.py", line 25, in main
    model, model_args = VisualGLMModel.from_pretrained(
  File "/data/VisualGLM-6B/.venv/lib/python3.9/site-packages/sat/model/base_model.py", line 212, in from_pretrained
    args = update_args_with_file(args, path=os.path.join(model_path, 'model_config.json'))
  File "/data/VisualGLM-6B/.venv/lib/python3.9/site-packages/sat/arguments.py", line 423, in update_args_with_file
    with open(path, 'r', encoding='utf-8') as f:
FileNotFoundError: [Errno 2] No such file or directory: '/data/models/THUDM/visualglm-6b/model_config.json'

2023-05-18_18-47-52_Administrator Windows PowerShell

放置模型的目录结构如下： 2023-05-18_18-45-43_visualglm-6b

Sleepychord commented 1 year ago

Huggingface的模型请运行cli_demo_hf.py，而不是cli_demo.py，后者支持的是sat格式的模型。如果要使用cli_demo.py，您可以直接运行它，会自动从清华云盘下载模型（一个zip包，支持断点续传）并解压缩（你也可以在visualglm.py中找到zip包的地址手动下载）。

yyxx1997 commented 1 year ago

这种低级问题都不修改或者说明一下吗，你们上传这个模型之前都不自己跑跑吗？？？

Sleepychord commented 1 year ago

@yyxx1997 这是提问者运行错文件了而已，我们readme里没写错，不需要修改。

frnksmdlkedjnfr commented 1 year ago

各位莫喷，用带 _hf 后缀的就可以运行了

Senna1960321 commented 1 year ago

@yyxx1997 这是提问者运行错文件了而已，我们readme里没写错，不需要修改。

您好，为什么我运行_hf文件也显示No module named 'sat'

1049451037 commented 1 year ago

@Senna1960321 pip install SwissArmyTransformer

dengfenglai321 commented 1 year ago

pip install SwissArmyTransformer

你好这个SwissArmyTransformer要求>0.3.6,可是运行 pip install SwissArmyTransformer显示ERROR: Could not find a version that satisfies the requirement SwissArmyTransformer==0.3.6 (from versions: 0.1, 0.1.1, 0.1.2, 0.1.3, 0.1.4, 0.1.5, 0.1.6, 0.1.7, 0.1.8, 0.1.9, 0.1.10, 0.2.0, 0.2.1, 0.2.2, 0.2.3, 0.2.4, 0.2.5, 0.2.6, 0.2.7, 0.2.8, 0.2.9, 0.2.11, 0.2.12, 0.3.1, 0.3.2)

最高版本只到0.3.2。安装完0.3.2后运行python web_demo_hf.py报错如下

│ /ddd/xxx/anaconda/envs/py37df/lib/python3.7/site-packages/sat/model/base_model.py:241 in │ │ get_args │ │ │ │ 238 │ │ │ if hasattr(args, k): │ │ 239 │ │ │ │ setattr(args, k, v) │ │ 240 │ │ │ else: │ │ ❱ 241 │ │ │ │ raise ValueError(f'Unknown arg {k}.') │ │ 242 │ │ return args │ │ 243 │ │ 244 class AutoModel(): │ ╰──────────────────────────────────────────────────────────────────────────────────────────────────╯ ValueError: Unknown arg use_final_layernorm.

Captain1986 commented 1 year ago

Huggingface的模型请运行cli_demo_hf.py，而不是cli_demo.py，后者支持的是sat格式的模型。如果要使用cli_demo.py，您可以直接运行它，会自动从清华云盘下载模型（一个zip包，支持断点续传）并解压缩（你也可以在visualglm.py中找到zip包的地址手动下载）。 “会自动从清华云盘下载模型（一个zip包，支持断点续传）并解压缩”，是会下载一个visualglm-6b.zip文件，但是很小，而且报错“BadZipFile: File is not a zip file”

ttyuuuuuuuuuu commented 1 year ago

Huggingface的模型请运行cli_demo_hf.py，而不是cli_demo.py，后者支持的是sat格式的模型。如果要使用cli_demo.py，您可以直接运行它，会自动从清华云盘下载模型（一个zip包，支持断点续传）并解压缩（你也可以在visualglm.py中找到zip包的地址手动下载）。 “会自动从清华云盘下载模型（一个zip包，支持断点续传）并解压缩”，是会下载一个visualglm-6b.zip文件，但是很小，而且报错“BadZipFile: File is not a zip file”

但是在这里没找到visualglm-6b的地址：