内存溢出处理 - Githubissues

padeoe / hf-mirror-site

a huggingface mirror site.

https://hf-mirror.com

236 stars 29 forks source link

内存溢出处理 #38

Open ltm920716 opened 2 months ago

ltm920716 commented 2 months ago

你好，下载llama3.1-405模型的时候，导致内存溢出，下载需要将405b全部通过内存转换么？有什么方式能不溢出直接下载到磁盘呢

谢谢

padeoe commented 2 months ago

下载会导致内存溢出不太可能吧，使用的下载方式说下呢，使用 huggingface-cli 或者 hfd 应该不会内存溢出

ltm920716 commented 2 months ago

你好，使用的命令如下

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --token hf_*** --resume-download meta-llama/Meta-Llama-3.1-405B-Instruct --local-dir Meta-Llama-3.1-405B-Instruct

下载出现了中断，并且提示oom的log，但是我忘记留存这个log了，我再试试能不能复现