search

codershenghai / shenghaishxt.github.io

My Blog
1 stars 0 forks source link

DataLoader num_workers与torch.set_num_threads的区别 | shenghai's blog | shxt #141

Open codershenghai opened 4 years ago

codershenghai commented 4 years ago

http://www.zhangshenghai.com/posts/2204/

num_workers设置DataLoader在实现数据预处理的并行化的进程数，并没有设置线程。 set_num_threads()设置Pytorch进行CPU多线程并行计算时所占用的线程数。 参考https://discuss.pytorch.org/t/dataloader-num-workers-vs-torch-set-num-threads/47045/3