search

610265158 / face_landmark

A simple method for face alignment based on wingloss and mutitask learning :)
Apache License 2.0
251 stars 80 forks source link

训练速度 #10

Closed ycdhqzhiai closed 5 years ago

ycdhqzhiai commented 5 years ago

@610265158 batch 128 训练速度巨慢无比，10个iter要2-3min, 2块2080卡，你那边速度多少啊

610265158 commented 5 years ago

@610265158 batch 128 训练速度巨慢无比，10个iter要2-3min, 2块2080卡，你那边速度多少啊

我这还好，大概一两天就能出结果，

我猜到是什么问题了，应该是数据那块的瓶颈，但是我又没办法解，你可以打个时间戳看看取一次数据的时间。

能贴一下log么，我想看一下，顺便再问一下机器的负载如何

ycdhqzhiai commented 5 years ago

image 前面看错了，以这个为准，batch size 256 ,差不多1min 10个iter,cpu在15%左右 image

610265158 commented 5 years ago

cpu preprare data的时候消耗时间有点长， 把batch size 改小一点吧， 还有opencv的多线程最好关掉，

建议用自己pc做，而不是服务器，可以试一下是不是速度快了

ycdhqzhiai commented 5 years ago

好的，谢谢