consistency check failed

[xv44586]

download file miss something , and retry does not fix. OSError: Consistency check failed: file should be of size 4983508568 but has size 3507967946 (model-00001-of-00006.safetensors). We are sorry for the inconvenience. Please retry download and passforce_download=True, resume_download=Falseas argument. If the issue persists, please let us know by opening an issue on https://github.com/huggingface/huggingface_hub.

[padeoe]

我之前连huggingface官方源下载也遇到锅一次，后续就比较难复现了，所以不能确定具体原因，可能是由于缓存目录存在错误数据无法恢复，如果用的是huggingface-cli ，建议加 --include model-00001-of-00006.safetensors --force_download参数重试一次呢，有其他信息也可以补充给我，我看如何可以更好确定问题。

[zhaoxin111]

我今天也遇到这个问题了，另外请问镜像站有限速机制吗？下载速度突然变几百k了...

[padeoe]

我今天也遇到这个问题了，另外请问镜像站有限速机制吗？下载速度突然变几百k了...

没有限速机制，运营商各地线路质量不同，可以用hf_transfer、hfd等开多线程来提速。

[zhaoxin111]

hf_transfer没开启成功... 实在不行手动wget了

[padeoe]

hf_transfer没开启成功... 实在不行手动wget了

那就用hfd脚本试试呢，调用aria2c

[padeoe]

我今天也遇到这个问题了，另外请问镜像站有限速机制吗？下载速度突然变几百k了...

话说你是在下载什么模型的时候遇到这个问题，我还有个猜想，是因为上游作者更新了模型导致的，同一个链接，导致最新服务器声明的模型大小和最初声明的大小不一致了。

[zhaoxin111]

我今天也遇到这个问题了，另外请问镜像站有限速机制吗？下载速度突然变几百k了...

话说你是在下载什么模型的时候遇到这个问题，我还有个猜想，是因为上游作者更新了模型导致的，同一个链接，导致最新服务器声明的模型大小和最初声明的大小不一致了。

PygmalionAI/pygmalion-2-7b 我昨晚下过llama2倒是没问题

[padeoe]

我今天也遇到这个问题了，另外请问镜像站有限速机制吗？下载速度突然变几百k了...

话说你是在下载什么模型的时候遇到这个问题，我还有个猜想，是因为上游作者更新了模型导致的，同一个链接，导致最新服务器声明的模型大小和最初声明的大小不一致了。

PygmalionAI/pygmalion-2-7b 我昨晚下过llama2倒是没问题

好吧，看了下这模型很久没更新了，当我没说，仍然不能确定原因

[zhaoxin111]

其实还有个需求，repo里可能同时含有bin模型和safetensors模型，其实下一份就行了，能不能加个过滤，只下载safetensors或者bin模型

[padeoe]

其实还有个需求，repo里可能同时含有bin模型和safetensors模型，其实下一份就行了，能不能加个过滤，只下载safetensors或者bin模型

这个支持的，huggingface-cli有个--include参数和--exclude参数，把文件名或者文件名关键词写进去即可，例如--exclude .bin，hfd脚本也支持 --exclude 参数

[zhaoxin111]

thank you for your work

[xv44586]

我下大的repo 的时候会一直出现，而且多线程下不能resume ，都会重下，所以我现在是单个文件下，直到成功再下一个