search

padeoe / hf-mirror-site

a huggingface mirror site.
https://hf-mirror.com
236 stars 29 forks source link

官方的emotion数据集报错 #26

Open afei00615 opened 5 months ago

afei00615 commented 5 months ago

下载官方的emotion数据集时，报： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

使用代理访问官方仓库就没有这个错误

padeoe commented 5 months ago

我看下

padeoe commented 5 months ago 
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

from datasets import load_dataset

dataset = load_dataset("dair-ai/emotion", "split")

这样是不会报错的，load_dataset("dair-ai/emotion") 则会报错。

hl0737 commented 2 months ago

下载官方的emotion数据集时，报： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

使用代理访问官方仓库就没有这个错误

试试降级datasets到2.14.6这个版本，我降级了就没事了= =不知道是啥bug。。