Open zjykzj opened 3 years ago
https://blog.zhujian.life/posts/f5ded433.html
之前训练的时候只是把图像数据保存在磁盘上，通过torchvision Dataloader方式进行批量加载。最近遇到一个问题，就是批量加载ImageNet数据时发现程序运行很慢，但是cpu/gpu的使用率并不高，查询过后发现是遇到了磁盘io的瓶颈 除了使用更好的硬件（比如用固态硬盘替代机械硬盘）来解决问题外，在网上还找到了不少的软件优化方法： 打开dataloade pin_memory 替换数
https://blog.zhujian.life/posts/f5ded433.html
之前训练的时候只是把图像数据保存在磁盘上，通过torchvision Dataloader方式进行批量加载。最近遇到一个问题，就是批量加载ImageNet数据时发现程序运行很慢，但是cpu/gpu的使用率并不高，查询过后发现是遇到了磁盘io的瓶颈 除了使用更好的硬件（比如用固态硬盘替代机械硬盘）来解决问题外，在网上还找到了不少的软件优化方法： 打开dataloade pin_memory 替换数