zyh-hehe / docker-compose-with-gpu

2 stars 0 forks source link

想问一下大佬最近在做什么方向? #1

Closed NicholasYe closed 1 year ago

NicholasYe commented 1 year ago

谁说没人提issue的(qaq

zyh-hehe commented 1 year ago
  1. 确实是dl,最近打算试试分布式深度学习,主要是(大量)数据并行。目前打算用pyspark+pytorch;还看到了Horovod,不过还没学。项目本身就是一个简单的cv项目,和我们一个课设相关,是大数据方向的。挺多其他同学搞的都是推荐系统、协同过滤啥的,用spark MLLib就行;但是我们想缝一手DL,所以才要这么折腾
  2. docker是个好东西,docker-compose也是
  3. https://github.com/SaeedNajafi/infer-pytorch-pyspark
  4. https://zhuanlan.zhihu.com/p/184942777
NicholasYe commented 1 year ago

受教了,感谢!