shuguang99
commented
5 months ago 赞同！！！！
Open bolongliu opened 1 year ago
shuguang99
commented
5 months ago 赞同！！！！
bolongliu
commented
4 months ago 现在国内有镜像了，具体可以访问https://hf-mirror.com/
使用非常简单，速度一般是带宽速度。一般至少10M/s
1. 下载hfd
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
2. 设置环境变量
Linux
export HF_ENDPOINT=https://hf-mirror.com
3.1 下载模型
./hfd.sh gpt2 --tool aria2c -x 4
3.2 下载数据集
./hfd.sh wikitext --dataset --tool aria2c -x 4
请求原因 由于服务器网络无法连接https://huggingface.co,而huggingface上面的文件非常大,动辄几个G,甚至10几个G,给科研造成了巨大的时间浪费,故请求加入工大镜像,实现高速模型下载和数据集下载。
源地址 https://huggingface.co/models https://huggingface.co/datasets
目标链接 http://mirrors.hit.edu.cn/huggingface/models http://mirrors.hit.edu.cn/huggingface/datasets