是否支持多线程同时记录几个训练过程？

fastnlp / fitlog

fitlog是一款在深度学习训练中用于辅助用户记录日志和管理代码的工具

https://gitee.com/fastnlp/fitlog

Apache License 2.0

1.47k stars 128 forks source link

Open lhprojects opened 3 years ago

lhprojects commented 3 years ago

我的程序是多线程的，请问

我可以同时记录几个训练过程吗？内部有锁吗？我可以在不同的线程log吗？

（PS：关键部分释放了gil所以没有性能问题，因为内存不够所以我想不同超参数的训练可以共享内存，多线程共享内存比较方便。）

yhcc commented 3 years ago

不支持～

lhprojects commented 3 years ago

依然谢谢！

BebDong commented 3 years ago

@yhcc 你好，请问非多线程情况下可以记录多个训练过程吗？这些训练过程是串行的，比如同样的超参数下希望实验跑3次，这3次实验是依次先后进行的。

yhcc commented 3 years ago

可以，可以通过fitlog.set_log_dir('logs/', new_log=True), 当第二次运行到这里的时候，fitlog就会重新创建一个新的log文件夹记录了。

BebDong commented 3 years ago

@yhcc 好的，感谢！这个工具很赞(๑•̀ㅂ•́)و✧