fastnlp / fitlog

fitlog是一款在深度学习训练中用于辅助用户记录日志和管理代码的工具
https://gitee.com/fastnlp/fitlog
Apache License 2.0
1.48k stars 130 forks source link

请问不可以用多进程的技术问题是哪方面呢? #53

Closed saladcat closed 3 years ago

saladcat commented 3 years ago

比较好奇,多进程还是挺需要的,特别是搜参数的时候

yhcc commented 3 years ago

你是指通过多进程开subprocess.Popen命令行来弄的,还是直接multiprocessing的多进程的跑呀?

saladcat commented 3 years ago

image 这里提到不能用multiprocesing跑 看您的意思是可以用Popen运行吗? 能否提供一段简单样例呢?下午的时候试了一下Popen好像也不行?

yhcc commented 3 years ago

可以通过Popen使用的

from multiprocessing import Popen

for lr in [1e-5, 2e-5]:
  Popen(f'python run.py --lr {lr}', shell=True)

这样是可以的。因为不同运行的进程是不共享fitlog的,就是可以的。如果是multiprocessing的Pool之类的在同一个python文件中运行就不行。

saladcat commented 3 years ago

解决了我的问题,太感谢了