Open JensenDong opened 1 year ago
尝试根据官方huggingface 展示的split加载,报了上图错误,求解答
感觉可能是报错的机器上下载的数据集不完整,建议清除掉下载的数据集(例如,我的windows电脑上就是在C:\Users\DELL\.cache\huggingface\datasets
目录下),然后重新运行试一下。
感谢回复,已经清除过很多次了,首先是hf的连接问题,hf常年不容易连上,但是服务器又不能随便开代理,有一行提示信息显示无法到达hf的google存储,从源地址下载,猜测是这个问题,完全不知道原地址是哪里。。。
目前一个最保证的解决方法就是:在https://huggingface.co/datasets/ceval/ceval-exam/tree/main 这个目录下面有一个zip文件,这个就是原始的数据文件。或许你可以手动下载之后解压,使用这里类似的代码读取后进行测试。
感谢回复,pd的方式读取确实可以实现,但还是需要适配hugging face,结果。。。 已排查环境问题,datasets 版本确实是2.13.1,确认两台机器环境完全一致。请问您那边删除之前的缓存的话,现在hf的加载方式能成功加载不?
可以加载的,只要网络正常。
@JensenDong set dataset = load_dataset(r"ceval/ceval-exam/dev"), you should locate the spefic folder
hf国内连不上 请问有其他的下载方式吗?
使用官方提供的代码示例是时候出错了,这行代码在一台机器上正常,另一台机器上就报错,使用的conda环境完全一致,想不明白,求解答
dataset = load_dataset(r"ceval/ceval-exam", name="high_school_physics")