支持datasets-server.huggingface.co

[xiaoyaolangzhi]

您好，下载数据集时有时候会访问datasets-server.huggingface.co 例如

from datasets import load_dataset
load_dataset(path='winogrande', name='winogrande_xl')

在datasets/utils/_datasets_server.py的get_exported_parquet_files函数中有 datasets_server_parquet_url = config.HF_ENDPOINT.replace("://", "://datasets-server.") + "/parquet?dataset=" 会访问 https://datasets-server.huggingface.co/parquet?dataset=winogrande 设置镜像后为 https://datasets-server.hf-mirror.com/parquet?dataset=winogrande 导致失败

[padeoe]

您好，下载数据集时有时候会访问datasets-server.huggingface.co 例如

from datasets import load_dataset
load_dataset(path='winogrande', name='winogrande_xl')

在datasets/utils/_datasets_server.py的get_exported_parquet_files函数中有 datasets_server_parquet_url = config.HF_ENDPOINT.replace("://", "://datasets-server.") + "/parquet?dataset=" 会访问 https://datasets-server.huggingface.co/parquet?dataset=winogrande 设置镜像后为 https://datasets-server.hf-mirror.com/parquet?dataset=winogrande 导致失败

这个问题比较严重，我这就修复

[xiaoyaolangzhi]

正常了，感谢

[padeoe]

奇怪，其实我还没修复😂今天能搞定