OpenCSGs / csghub-sdk

3 stars 2 forks source link

snapshot_download下载数据集出错 #7

Open ioo0s opened 1 week ago

ioo0s commented 1 week ago

问题描述

使用snapshot_download无法下载数据集


requests.exceptions.HTTPError: 404 Client Error: Not Found for url: http://ip:port/hf/api/models/namespace/dataset_name/revision/main

需求

如下,是否能封装类似modelscope的数据下载+加载的接口

from modelscope.msdatasets import MsDataset
ds = MsDataset.load('afqmc_small', split='train')
Rader commented 1 day ago

http://ip:port/hf/api/models/namespace/dataset_name/revision/main 这个请求数据集的url 路径不对,其中的 models 应该替换为 datasets

@SeanHH86 仓库下载时需要指定仓库类型。目前 OpenCSG 一共有4种类型的仓库:model,dataset,code,space

SeanHH86 commented 1 day ago

是的,非常好的建议,已安排在计划中。