关于36层预训练模型的LOSS配置

gehaocool / CombinedMargin-caffe

caffe implementation of insightface's combined margin method

92 stars 28 forks source link

Open Rashomon5487 opened 5 years ago

Rashomon5487 commented 5 years ago

请问下您放出来的36层预训练模型用的是哪一种LOSS训的，Amsoftmax还是ArcFace还是Combine的呢

gehaocool commented 5 years ago

是用Combine Loss训练的，就是这个repo内的代码

Rashomon5487 commented 5 years ago

是用Combine Loss训练的，就是这个repo内的代码

m1: 1
m2: 0
m3: 0.35

gehaocool commented 5 years ago

m1:1 m2:0.3 m3:0.2

Rashomon5487 commented 5 years ago

是用Combine Loss训练的，就是这个repo内的代码 s值用的是30吗？

gehaocool commented 5 years ago

S是64 我放一个训练的train.prototxt、solver.prototxt，以及log文件出来吧

Rashomon5487 commented 5 years ago

好的，多谢~

Rashomon5487 commented 5 years ago

作者有没有对Glint的数据做增广，我直接用格林深曈的数据训练，性能不如你放出来的模型~，也可能和m，s不一样有关，我配置的是 s:60 m1: 1 m2: 0 m3: 0.35

gehaocool commented 5 years ago

@Rashomon5487 用了一些简单的增广方法。可以参见model.prototxt。你的这套参数就是CosineFace。

Rashomon5487 commented 5 years ago

@gehaocool 您这套增广方法是自己添加的caffe代码吗

gehaocool commented 5 years ago

@gehaocool 您这套增广方法是自己添加的caffe代码吗

是的，就是在读取图片的时候做增广

Rashomon5487 commented 5 years ago

@gehaocool 您是否方便开放这个数据增广的代码？还有一点，我发现glint这批数据分布很不均匀，有些类类内有大几百张数据，有些类只有几张数据。我训的时候是对类内样本最大数量做了限制，不知道您针对这个不均衡问题有没有做处理~

gehaocool commented 5 years ago

@gehaocool 您是否方便开放这个数据增广的代码？还有一点，我发现glint这批数据分布很不均匀，有些类类内有大几百张数据，有些类只有几张数据。我训的时候是对类内样本最大数量做了限制，不知道您针对这个不均衡问题有没有做处理~

数据增广代码参考caffe-augmentation 还加了一段减少显存消耗的，代码来自caffe-Mem-Op，主要代码在net.cpp里。

我没有对glint数据做样本均衡处理，可以考虑简单的过采样扩充一下数据量较少的identities，实在过少就直接扔掉该identity。关于训练数据的讨论可以参考一下insightface的repo中的issues。

Rashomon5487 commented 5 years ago

@gehaocool 感谢分享，您的train.prototxt里面的rand_skip参数是为了防止多卡训练的时候读取到相同的数据吗？

gehaocool commented 5 years ago

@Rashomon5487 是的，为了让多卡从不同位置读取数据，可以加速收敛

WW2401 commented 5 years ago

@Rashomon5487 是的，为了让多卡从不同位置读取数据，可以加速收敛

rand_skip参数根据什么设置？您为什么设置为10000？

WW2401 commented 5 years ago

hi,你知道使用caffe-augmentation时怎么修改original caffe吗?需要修改哪些？ @Rashomon5487

we0091234 commented 4 years ago

@WW2401 修改proto 以及transform.cpp就可以了，我试了可以了