search

shibing624 / MedicalGPT

MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练(PT)、有监督微调(SFT)、RLHF、DPO、ORPO。
Apache License 2.0
2.94k stars 452 forks source link

请问这是什么oserror #337

Closed cove1011 closed 4 months ago

cove1011 commented 4 months ago

Traceback (most recent call last): File "C:\Users\admin.conda\envs\newrlhf\lib\site-packages\transformers\utils\hub.py", line 398, in cached_file resolved_file = hf_hub_download( File "C:\Users\admin.conda\envs\newrlhf\lib\site-packages\huggingface_hub\utils_validators.py", line 110, in _inner_fn validate_repo_id(arg_value) File "C:\Users\admin.conda\envs\newrlhf\lib\site-packages\huggingface_hub\utils_validators.py", line 164, in validate_repo_id raise HFValidationError( huggingface_hub.utils.validators.HFValidationError: Repo id must use alphanumeric chars or '-', '', '.', '--' and '..' are forbidden, '-' and '.' cannot start or end the name, max length is 96: 'F:\zhuyk\chatglm3-6bmodel'.

The above exception was the direct cause of the following exception:

Traceback (most recent call last): File "F:\▒▒▒▒\MedicalGPT-main\merge_peft_adapter.py", line 109, in main() File "F:\▒▒▒▒\MedicalGPT-main\merge_peft_adapter.py", line 75, in main base_model = model_class.from_pretrained( File "C:\Users\admin.conda\envs\newrlhf\lib\site-packages\transformers\models\auto\auto_factory.py", line 482, in from_pretrained resolved_config_file = cached_file( File "C:\Users\admin.conda\envs\newrlhf\lib\site-packages\transformers\utils\hub.py", line 462, in cached_file raise EnvironmentError( OSError: Incorrect path_or_model_id: 'F:\zhuyk\chatglm3-6bmodel'. Please provide either the path to a local folder or the repo_id of a model on the Hub.

shibing624 commented 4 months ago

Hugging Face Transformers 库提供了一种简单的方法来加载本地保存的模型。为了确保使用的是本地模型而不是从互联网上下载，你需要确保在加载模型时指定了正确的文件系统路径。

以下是加载本地模型的一个示例代码：

from transformers import AutoModel

# 指定你的本地模型路径
model_path = "/path/to/your/local/model"

# 加载模型，确保 transformers 不会自动从互联网下载
model = AutoModel.from_pretrained(model_path, local_files_only=True)

在这里，AutoModel.from_pretrained 方法用于加载模型，local_files_only=True 参数确保库只会查找本地文件，不会尝试从互联网上下载模型。

请确保 model_path 指向包含模型权重和配置文件的目录。通常，这个目录会有一个 config.json 文件和一个 pytorch_model.bin 文件，如果是使用PyTorch的话，或者对于TensorFlow可能是 tf_model.h5 文件。

如果你在加载模型时遇到任何问题，请确保本地路径正确，并且所有必要的文件都在该目录中。如果模型是用不同的框架训练的（例如 TensorFlow 而不是 PyTorch），你可能需要使用相应的模型类来加载它。

cove1011 commented 4 months ago

额，没听懂

LiangYong1216 commented 4 months ago

指定你的本地模型路径

model_path = "/path/to/your/local/model" # 这里替换为你的本地模型存放的地址！！！

加载模型，确保 transformers 不会自动从互联网下载

model = AutoModel.from_pretrained(model_path, local_files_only=True) 然后加载模型就好了，目录里面的内容大概长这样 image