hkust-nlp / ceval

Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023]
https://cevalbenchmark.com/
MIT License
1.6k stars 74 forks source link

官方示例加载数据集报错 #58

Open JensenDong opened 1 year ago

JensenDong commented 1 year ago

image 使用官方提供的代码示例是时候出错了,这行代码在一台机器上正常,另一台机器上就报错,使用的conda环境完全一致,想不明白,求解答 dataset = load_dataset(r"ceval/ceval-exam", name="high_school_physics")

JensenDong commented 1 year ago

image 尝试根据官方huggingface 展示的split加载,报了上图错误,求解答

HYZ17 commented 1 year ago

感觉可能是报错的机器上下载的数据集不完整,建议清除掉下载的数据集(例如,我的windows电脑上就是在C:\Users\DELL\.cache\huggingface\datasets目录下),然后重新运行试一下。

JensenDong commented 1 year ago

image 感谢回复,已经清除过很多次了,首先是hf的连接问题,hf常年不容易连上,但是服务器又不能随便开代理,有一行提示信息显示无法到达hf的google存储,从源地址下载,猜测是这个问题,完全不知道原地址是哪里。。。

HYZ17 commented 1 year ago
  1. hf的连接确实不太稳定,有可能是网络导致的问题。
  2. 有没有可能是conda环境中datasets的版本不一致,我的版本是 2.13.1。

目前一个最保证的解决方法就是:在https://huggingface.co/datasets/ceval/ceval-exam/tree/main 这个目录下面有一个zip文件,这个就是原始的数据文件。或许你可以手动下载之后解压,使用这里类似的代码读取后进行测试。

JensenDong commented 1 year ago

感谢回复,pd的方式读取确实可以实现,但还是需要适配hugging face,结果。。。 已排查环境问题,datasets 版本确实是2.13.1,确认两台机器环境完全一致。请问您那边删除之前的缓存的话,现在hf的加载方式能成功加载不?

HYZ17 commented 1 year ago

可以加载的,只要网络正常。

mengzhangjian commented 1 year ago

@JensenDong set dataset = load_dataset(r"ceval/ceval-exam/dev"), you should locate the spefic folder

qilin93 commented 11 months ago

hf国内连不上 请问有其他的下载方式吗?