Open ioo0s opened 1 week ago
使用snapshot_download无法下载数据集
requests.exceptions.HTTPError: 404 Client Error: Not Found for url: http://ip:port/hf/api/models/namespace/dataset_name/revision/main
如下,是否能封装类似modelscope的数据下载+加载的接口
from modelscope.msdatasets import MsDataset ds = MsDataset.load('afqmc_small', split='train')
http://ip:port/hf/api/models/namespace/dataset_name/revision/main 这个请求数据集的url 路径不对,其中的 models 应该替换为 datasets
models
datasets
@SeanHH86 仓库下载时需要指定仓库类型。目前 OpenCSG 一共有4种类型的仓库:model,dataset,code,space
是的,非常好的建议,已安排在计划中。
问题描述
使用snapshot_download无法下载数据集
需求
如下,是否能封装类似modelscope的数据下载+加载的接口