Closed ycdhqzhiai closed 4 years ago
@610265158 batch 128 训练速度巨慢无比,10个iter要2-3min, 2块2080卡,你那边速度多少啊
我这还好,大概一两天就能出结果,
我猜到是什么问题了,应该是数据那块的瓶颈,但是我又没办法解,你可以打个时间戳看看取一次数据的时间。
能贴一下log么,我想看一下,顺便再问一下机器的负载如何
前面看错了,以这个为准,batch size 256 ,差不多1min 10个iter,cpu在15%左右
cpu preprare data的时候消耗时间有点长, 把batch size 改小一点吧, 还有opencv的多线程最好关掉,
建议用自己pc做,而不是服务器,可以试一下是不是速度快了
好的,谢谢
@610265158 batch 128 训练速度巨慢无比,10个iter要2-3min, 2块2080卡,你那边速度多少啊