search

xialuxi / arcface-caffe

insightface-caffe
MIT License
279 stars 124 forks source link

caffe 训练速度仍然很慢，请问作者后来有发现这个问题吗， #26

Open shiyuanyin opened 5 years ago

shiyuanyin commented 5 years ago

@xialuxi ,谢谢您的回复，我上午看了adaface的论文的实现
用caffe 训练很慢的原因请问作者后来有发现吗，前向传播我觉得挺快的 我设置的参数是batch size=56 l两块1080 iter_size:6 /57597324-8428ad00-7581-11e9-9fa1-e2d72d0446f7.png) 12:49:24.228211 23509 solver.cpp:243] Iteration 0, loss = 24.1503 I0513 12:49:24.228235 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.839286 I0513 12:49:24.228257 23509 solver.cpp:259] Train net output #1: softmax_loss = 22.5511 ( 1 = 22.5511 loss) I0513 12:49:24.228299 23509 sgd_solver.cpp:138] Iteration 0, lr = 0.01 I0513 12:54:50.852994 23509 solver.cpp:243] Iteration 100, loss = 20.3324 I0513 12:54:50.853057 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.928571 I0513 12:54:50.853081 23509 solver.cpp:259] Train net output #1: softmax_loss = 17.7896 ( 1 = 17.7896 loss) I0513 12:54:50.923504 23509 sgd_solver.cpp:138] Iteration 100, lr = 0.01 I0513 13:00:39.458894 23509 solver.cpp:243] Iteration 200, loss = 18.8438 I0513 13:00:39.459019 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.964286 I0513 13:00:39.459044 23509 solver.cpp:259] Train net output #1: softmax_loss = 16.4004 ( 1 = 16.4004 loss) I0513 13:00:39.500185 23509 sgd_solver.cpp:138] Iteration 200, lr = 0.01 I0513 13:06:26.364652 23509 solver.cpp:243] Iteration 300, loss = 18.461 I0513 13:06:26.364759 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.946429 I0513 13:06:26.364783 23509 solver.cpp:259] Train net output #1: softmax_loss = 16.8125 ( 1 = 16.8125 loss)

xialuxi commented 5 years ago

你用的什么网络训练的，使用的什么数据，数据规模多大？

wavelet2008 commented 5 years ago

除了 lost adaface 不一样 ，其他都一样的情况下，收敛速度loss好慢啊，

xialuxi commented 5 years ago

说实话，这个损失函数的效果并没有论文说的那么好，感觉还是原始的arcface的比较work。 建议使用arcface

wavelet2008 commented 5 years ago

说实话，这个损失函数的效果并没有论文说的那么好，感觉还是原始的arcface的比较work。 建议使用arcface

谢大神

wavelet2008 commented 5 years ago

说实话，这个损失函数的效果并没有论文说的那么好，感觉还是原始的arcface的比较work。 建议使用arcface Iteration 12000次 loss 从16.4 降到14.9 正常吗， 其他的loss 早就降到loss=1.0以内了

xialuxi commented 5 years ago

我自己训练的时候，acc=0.98左右， loss = 5.8左右，感觉是有点不是很正常，loss太高了。 测试效果也是不理想，参考别人的论文以及看法，这个损失函数确实有水分。

wavelet2008 commented 5 years ago

loss 开始高 没有关系，跟数据有关系，主要是降的太慢，又回到loss=15.1,晚上跑一晚上看看，能不能降到1以内

wavelet2008 commented 5 years ago

我自己训练的时候，acc=0.98左右， loss = 5.8左右，感觉是有点不是很正常，loss太高了。 测试效果也是不理想，参考别人的论文以及看法，这个损失函数确实有水分。

说实话，这个损失函数的效果并没有论文说的那么好，感觉还是原始的arcface的比较work。 建议使用arcface

大神我用arcface 训练三天三夜，acc=0.984. loss=1.x 有什么办法让acc=0.99+ 不改变训练的数据情况下

xialuxi commented 5 years ago

可以试一下调整动量momentum。

wavelet2008 commented 5 years ago

可以试一下调整动量momentum。

大神 昨晚把动量从0.92调到0.9 m 0.35->0.4 acc=0.99 不知道收敛到0.996+

Laulian commented 5 years ago

@wavelet2008 你们说的acc是fc6层作为输入的acc么？请问训练过程中AdaCosAddmScale的acc大概能到多少

shiyuanyin commented 5 years ago

抱歉，caffe 训练慢的问题没有解决，还是那么慢，也没有花时间研究，但是很多时间都消耗在网络的运行，我试着减少打印损失值的输出，节省时间

------------------ 原始邮件 ------------------ 发件人: "xialuxi"notifications@github.com; 发送时间: 2019年6月17日(星期一) 下午5:48 收件人: "xialuxi/arcface-caffe"arcface-caffe@noreply.github.com; 抄送: "史诗"892781037@qq.com;"Author"author@noreply.github.com; 主题: Re: [xialuxi/arcface-caffe] caffe 训练速度仍然很慢，请问作者后来有发现这个问题吗， (#26)

说实话，这个损失函数的效果并没有论文说的那么好，感觉还是原始的arcface的比较work。 建议使用arcface

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

WW2401 commented 5 years ago

@wavelet2008 你们说的acc是fc6层作为输入的acc么？请问训练过程中AdaCosAddmScale的acc大概能到多少

同问~

erow commented 4 years ago

训练速度多少? 每秒86个samples?