search

chenxie95 / deeplearning_course_sjtu

14 stars 2 forks source link

slurm_logs的实时性 #2

Open Shentl opened 2 years ago

Shentl commented 2 years ago

如何使得slurm的日志能够实时写入{jobid}.out文件？目前需要整个程序运行完了日志才会写入，之前.out文件一直为空。

cantabile-kwok commented 2 years ago

对于长时间的任务应该也不是等完了才有，隔一段时间会有

Shentl commented 2 years ago

对于长时间的任务应该也不是等完了才有，隔一段时间会有

sbatch提交后程序已经运行1.5h， .out文件仍为空

cpdu commented 2 years ago

是python里print的东西不显示吗？如果是这样的话，尝试以下两种方法中的任意一种：

  1. 把python xxx.py改为python -u xxx.py
  2. 把print换成logging.info。需要先 import logging logging.basicConfig(level=logging.WARN, stream=sys.stdout, format="%(asctime)s (%(module)s:%(lineno)d) %(levelname)s: %(message)s")
Shentl commented 2 years ago

问题已解决，谢谢助教