gehaocool / CombinedMargin-caffe

caffe implementation of insightface's combined margin method
92 stars 28 forks source link

预训练模型的prototxt配置 #5

Open youzai001 opened 5 years ago

youzai001 commented 5 years ago

下载了预训练模型,里面没有看到train_val.prototxt。查看了deploy.prototxt, train_val.prototxt跟example.prototxt配置不同吗?

gehaocool commented 5 years ago

train所用prototxt的最后Loss部分和example.prototxt里面是类似的

youzai001 commented 5 years ago

@gehaocool 谢谢回复,方便提供预训练模型文件的prototxt吗?我使用example.prototxt在小数据量私有数据集上训练出来的效果不理想。

gehaocool commented 5 years ago

我放出的那个36层模型是带BN的,从deploy.prototxt中就能看出来,除了这一点以及层数之外同example.prototxt没有任何区别。 不知道你是否测试过我放出的模型效果,同你自己训练的相比有什么差距?

youzai001 commented 5 years ago

有测试过你放出来的模型,效果比我训练的好很多,也有可能是我的数据量太小的原因

Wentao795 commented 5 years ago

你好,请问你能给出log文件吗?我最近在训练中遇到一些问题,希望做个参考,谢谢。 @gehaocool

liuzhonghuacd commented 5 years ago

有测试过你放出来的模型,效果比我训练的好很多,也有可能是我的数据量太小的原因

您好,我想知道你测试的同一个人的人脸图像相似度值是多少,我测试的结果怎么是0.4-0.7之间,大部分都在0.5左右,感觉不是很对啊。

youzai001 commented 5 years ago

您好,我想知道你测试的同一个人的人脸图像相似度值是多少,我测试的结果怎么是0.4-0.7之间,大部分都在0.5左右,感觉不是很对啊。

差不多是这样,能区分出来就行。特别是证件上的照跟摄像机抓拍的照片相似度是比较低的。不同人能区分就行。用私有数据训练也是因为每个人增加了证件照样本。

liuzhonghuacd commented 5 years ago

您好,我想知道你测试的同一个人的人脸图像相似度值是多少,我测试的结果怎么是0.4-0.7之间,大部分都在0.5左右,感觉不是很对啊。

差不多是这样,能区分出来就行。特别是证件上的照跟摄像机抓拍的照片相似度是比较低的。不同人能区分就行。用私有数据训练也是因为每个人增加了证件照样本。

谢谢回复。

shiyuanyin commented 5 years ago

@youzai001 您好,作者,请问您的normalize层的实现和caffe里面原有的normalize实现,的主要区别是什么昵?

shiyuanyin commented 5 years ago

@youzai001 您好,请问,prototxt,文件中在后面的两个全连接处都有normalize,归一化,这两处调用的归一化不一样。innerproduct.cpp,下的nornalize, 和normalize.cpp下的normalize,这两处的归一化有什么区别吗?

shiyuanyin commented 5 years ago

@gehaocool 您好,请问,prototxt,文件中在后面的两个全连接处都有normalize,归一化,这两处调用的归一化不一样。innerproduct.cpp,下的nornalize, 和normalize.cpp下的normalize,这两处的归一化有什么区别吗?

gehaocool commented 5 years ago

@shiyuanyin 这两处的normalize原理应该是一样的,但是具体实现的计算过程不太一样。 在innerproduct layer里想要normalize的是参数矩阵W,这个没法用normalize layer来做,所以直接写在innerproduct layer的实现里面了

gehaocool commented 5 years ago

@youzai001 @wangwentaodeheimaojingzhang @liuzhonghuacd @shiyuanyin 各位,我发了训练log,solver.prototxt和model.prototxt 其实我总有一种感觉我的实现什么地方有问题,如果大家发现什么bug及时反馈哈。

Wentao795 commented 5 years ago

@youzai001 您好,首先感谢您放出log。请问您对格林深瞳这个数据做过数据清洗吗?我发现,这个数据里面任然有很多噪声图片。感谢!!!!!!!!!!

gehaocool commented 5 years ago

@wangwentaodeheimaojingzhang 没有做清洗

wavelet2008 commented 5 years ago

求群主指点收敛:Test net output #0: accuracy@1 = 0.994981 I0628 09:55:01.343813 27908 solver.cpp:414] Test net output #1: focal_loss = 5.05713 (* 1 = 5.05713 loss) I0628 09:55:01.989528 27908 solver.cpp:239] Iteration 84000 (0.24678 iter/s, 162.088s/40 iters), loss = 6.55423 "Scale" value 45 有什么办法减低loss 与accuracy@1 提升到0.998

shiyuanyin commented 5 years ago

加数据,换模型,改模型,

------------------ 原始邮件 ------------------ 发件人: "wavelet2008"notifications@github.com; 发送时间: 2019年6月28日(星期五) 上午10:07 收件人: "gehaocool/CombinedMargin-caffe"CombinedMargin-caffe@noreply.github.com; 抄送: "史诗"892781037@qq.com;"Mention"mention@noreply.github.com; 主题: Re: [gehaocool/CombinedMargin-caffe] 预训练模型的prototxt配置 (#5)

求群主指点收敛:Test net output #0: accuracy@1 = 0.994981 I0628 09:55:01.343813 27908 solver.cpp:414] Test net output #1: focal_loss = 5.05713 (* 1 = 5.05713 loss) I0628 09:55:01.989528 27908 solver.cpp:239] Iteration 84000 (0.24678 iter/s, 162.088s/40 iters), loss = 6.55423 "Scale" value 45 有什么办法减低loss 与accuracy@1 提升到0.998

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

wavelet2008 commented 5 years ago

同样的数据与模型 sphereface 收敛到0.998,如果不改变训练数据与模型,单单调整CombinedMargin 可以达到同样的效果,如m1 m2 m3调整

shiyuanyin commented 5 years ago

好的,我没有做这个模型实验,lfw 数据太少了,如果你用更多的数据试一下结果还是变高了,说明损失函数确实可以进一步提升性能

------------------ 原始邮件 ------------------ 发件人: "wavelet2008"notifications@github.com; 发送时间: 2019年6月28日(星期五) 上午10:16 收件人: "gehaocool/CombinedMargin-caffe"CombinedMargin-caffe@noreply.github.com; 抄送: "史诗"892781037@qq.com;"Mention"mention@noreply.github.com; 主题: Re: [gehaocool/CombinedMargin-caffe] 预训练模型的prototxt配置 (#5)

同样的数据与模型 sphereface 收敛到0.998,如果不改变训练数据与模型,单单调整CombinedMargin 可以达到同样的效果,如m1 m2 m3调整

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

wavelet2008 commented 5 years ago

好的,我没有做这个模型实验,lfw 数据太少了,如果你用更多的数据试一下结果还是变高了,说明损失函数确实可以进一步提升性能

群主理论上 CombinedMargin loss 比sphereface 好不少,我现在就是CombinedMargin 没有达到sphereface 的效果,我在考虑什么问题导致的CombinedMargin 没有发挥出来