guoqiangqi / PFLD

Implementation of PFLD A Practical Facial Landmark Detector , reference to https://arxiv.org/pdf/1902.10859.pdf
626 stars 166 forks source link

提升精度问题 #28

Open liguiyuan opened 5 years ago

liguiyuan commented 5 years ago

大家来分享一下训练的最好精度,还有提升精度的方法? 目前我在 WFLW数据集最好精度: mean error: 0.073(7.3 %) failure rate: 0.175(17.5%)

github-luffy commented 5 years ago

mean error:0.055 failure rate:0.086

github-luffy commented 5 years ago

添加训练样本或者修改网络,我都尝试了,最好的效果mean error:0.055,failure rate:0.086;现在准备在移动端测试速度,看能否使用。

wei-ma commented 5 years ago

添加训练样本或者修改网络,我都尝试了,最好的效果mean error:0.055,failure rate:0.086;现在准备在移动端测试速度,看能否使用。

请问你修改网络是怎么修改的, 我到mean error: 0.085 就降不下去了

liguiyuan commented 5 years ago

添加训练样本或者修改网络,我都尝试了,最好的效果mean error:0.055,failure rate:0.086;现在准备在移动端测试速度,看能否使用。

可以的话,麻烦分享下修改网络的经验呗~

liguiyuan commented 5 years ago

目前我发现欧拉角估算偏差有点大,可能会影响网络的学习,打算去掉辅助网络再训练看看效果了

github-luffy commented 5 years ago

网络用的mobileNetV3,10000多张人脸,做数据增强后,总共30多万张图片。

luckynote commented 5 years ago

网络用的mobileNetV3,10000多张人脸,做数据增强后,总共30多万张图片。

听您的描述,您是把2500测试集也用作训练了啊,这样对最终测试的MNE不太准确吧。

github-luffy commented 5 years ago

测试集不变,从其他人脸库找了新的数据

Augnine commented 5 years ago

小白请教,failure rate反应的是什么呢?如何理解失败率

luckynote commented 5 years ago

小白请教,failure rate反应的是什么呢?如何理解失败率

简单来讲,就是根据MNE,取一个固定的阈值,比如取T=0.10,然后统计大于T的样本数量,这些都记为失败,然后你就看到失败率了,如果取多个T,你就可以绘制AUC曲线了

Sawyer000 commented 5 years ago

测试集不变,从其他人脸库找了新的数据

不同数据集算Wn问题你怎么解决的呢,我改到了0.060,没有其他数据。能否分享下学习率等的设置

github-luffy commented 5 years ago

都是68点的数据------------------ 原始邮件 ------------------ 发件人: "Sawyer000"notifications@github.com 发送时间: 2019年7月26日(星期五) 上午10:56 收件人: "guoqiangqi/PFLD"PFLD@noreply.github.com; 抄送: "叶修强"luffyxq@qq.com;"Comment"comment@noreply.github.com; 主题: Re: [guoqiangqi/PFLD] 提升精度问题 (#28)

测试集不变,从其他人脸库找了新的数据

不同数据集算Wn问题你怎么解决的呢,我改到了0.060,没有其他数据。能否分享下学习率等的设置

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

liguiyuan commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110

2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

github-luffy commented 5 years ago

你们嘴巴训练的效果怎么样,会不会偶尔嘴巴的点就飘了,下不来的情况?

keyxuliang commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110

2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

关于,300W论文哪里有提到“mean error: 0.0332”?

luckynote commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

关于,300W论文哪里有提到“mean error: 0.0332”?

PFLD 论文中有的,你仔细再读读吧

luckynote commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作
liguiyuan commented 5 years ago

你们嘴巴训练的效果怎么样,会不会偶尔嘴巴的点就飘了,下不来的情况?

嘴巴没遮挡效果还好啦,如果嘴巴又遮挡的话就往上飘了

luckynote commented 5 years ago

你们嘴巴训练的效果怎么样,会不会偶尔嘴巴的点就飘了,下不来的情况?

嘴巴没遮挡效果还好啦,如果嘴巴又遮挡的话就往上飘了

我觉得有遮挡,会飘的问题很正常,wflw本身遮挡的图片也不是很多,在没有遮挡下,嘴巴各个姿态都还不错。 其实最主要的是眼睛和眉毛,这两个地方似乎是有些过拟合了,基本不会随着表情状态的变化而变化,灵敏度和定位的准确性不如sdm和ert。

liguiyuan commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

能分享一下网络修改、学习率和epoch么,我WFLW的failure rate 0.018

网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 学习率:可以从1e-4开始,然后进行迭代递减 epoch:目前只训练了1000个epoch(其实到150个epoch已经达到最好效果了)

keyxuliang commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

关于,300W论文哪里有提到“mean error: 0.0332”?

PFLD 论文中有的,你仔细再读读吧 @luckynote 请教,是从Figure 3: CED curves上看出来的吗?:(

luckynote commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

关于,300W论文哪里有提到“mean error: 0.0332”?

PFLD 论文中有的,你仔细再读读吧 @luckynote 请教,是从Figure 3: CED curves上看出来的吗?:(

Table 4: Comparison in normalized mean error on the 300W Common Subset, Challenging Subset, and Fullset.

PFLD 1X common(3.32) chellenging(6.56) fullset(3.95)

liguiyuan commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作

感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少?

针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。

keyxuliang commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

关于,300W论文哪里有提到“mean error: 0.0332”?

PFLD 论文中有的,你仔细再读读吧 @luckynote 请教,是从Figure 3: CED curves上看出来的吗?:(

Table 4: Comparison in normalized mean error on the 300W Common Subset, Challenging Subset, and Fullset.

PFLD 1X common(3.32) chellenging(6.56) fullset(3.95) @luckynote 谢谢,请问fullset 上你们能达到多少?

luckynote commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作

感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少?

针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。

网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。

我只修改了网络,没有增加数据,大概迭代2000次左右吧

liguiyuan commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作

感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。

网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。

我只修改了网络,没有增加数据,大概迭代2000次左右吧

除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。

luckynote commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作

感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。

网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 我只修改了网络,没有增加数据,大概迭代2000次左右吧

除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。

我同样尝试了你说的这个方法,似乎对眼睛睁闭和眉毛变动的微表情没什么帮助

liguiyuan commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作

感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。

网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 我只修改了网络,没有增加数据,大概迭代2000次左右吧

除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。

我同样尝试了你说的这个方法,似乎对眼睛睁闭和眉毛变动的微表情没什么帮助

对双眼同时睁或同时闭效果还不错,但对一睁一闭的效果就不好了,眉毛变动如果比较夸张的话,还是不太准。简单看了训练集里面的图片,感觉只能在训练集增加这方面的图片了。

mifan0208 commented 5 years ago

请问你们landmark_loss以及euler_loss都是多少啊?为什么我的landmark_loss为0.001,而euler_loss缺为0.12左右,landmark收敛特别迅速,而euler_loss收敛特别缓慢,所以我的mean_error训练到0.14就很难降低了,,求助一下,谢谢

keyxuliang commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110

2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?

luckynote commented 5 years ago

最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:

  1. 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
  2. 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
  3. 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
  4. 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
  5. ncnn的暂时未操作

感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。

网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 我只修改了网络,没有增加数据,大概迭代2000次左右吧

除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。

我同样尝试了你说的这个方法,似乎对眼睛睁闭和眉毛变动的微表情没什么帮助

对双眼同时睁或同时闭效果还不错,但对一睁一闭的效果就不好了,眉毛变动如果比较夸张的话,还是不太准。简单看了训练集里面的图片,感觉只能在训练集增加这方面的图片了。

增加了闭眼的权重,感觉单眼的闭眼有效果,目前来看,还是对带眼镜状态效果较差,对不带眼镜来说,效果还可以

liguiyuan commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?

用了辅助网络,在300W数据集,fullset,Inter-ocular Normalization (ION)下最好:3.39

keyxuliang commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?

用了辅助网络,在300W数据集,fullset,Inter-ocular Normalization (ION)下最好:3.39 @liguiyuan 已经超越原始论文啦!!!另外请教一下: 1.300w数据的分类你们是怎么打标签的呢? 2.在没有辅助网络的情况下能达到多少呢?个人对这个辅助网络的效果表示怀疑:(( 3.使用了其它的数据集吗?大概使用了多少数据达到(ION) 3.39?

liguiyuan commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?

用了辅助网络,在300W数据集,fullset,Inter-ocular Normalization (ION)下最好:3.39 @liguiyuan 已经超越原始论文啦!!!另外请教一下: 1.300w数据的分类你们是怎么打标签的呢? 2.在没有辅助网络的情况下能达到多少呢?个人对这个辅助网络的效果表示怀疑:(( 3.使用了其它的数据集吗?大概使用了多少数据达到(ION) 3.39?

1.自己手动打标签,可以自己做个工具 2.没试过去掉辅助网络的情况,你可以试一下。(以前在WFLW上再训练试过,有没有辅助网络影响不大) 3.没有使用其他数据集,完全按照论文来实施(3148 training,689 testing),然后再做数据增强。

GuangchenJ commented 5 years ago

最新 精度分享:1。在WFLW数据集上: 平均误差:0.062 失败率:0.110

2.在300W数据集上: 平均误差:0.034 失败率:0.006 (已经较接近论文,论文为均误:0.0332)

您好,请问可以分享一下模型这一版的数据么,最好是pb文件,我做一下参考,麻烦您了

zacks417 commented 5 years ago

目前我发现欧拉角估算偏差有点大,可能会影响网络的学习,打算去掉辅助网络再训练看看效果了

你好,能加个好友一起交流下pfld的训练吗? 我目前在做针对亚洲人人脸的关键点标注

ShaunZheng commented 5 years ago

@liguiyuan 请教下,您的 batch-size 设置多大的呢?

luckynote commented 5 years ago

最新在WFLW数据集上: 平均误差:0.05397 (5.397%) 失败率:0.07091 (7.091%)超过LAB的 7.56,目前找到的好指标5.04(DCFE),还有点距离 模型评测:目前测试模型,模型精度已经非常高,速度也很pc cpu 测试130fps,gpu 测试130×3fps,加了跟踪判断,感觉效果可以达到hyperlandmarks的样子了

liguiyuan commented 5 years ago

@liguiyuan 请教下,您的 batch-size 设置多大的呢?

batch-size 设了128

liguiyuan commented 5 years ago

最新在WFLW数据集上: 平均误差:0.05397 (5.397%) 失败率:0.07091 (7.091%)超过LAB的 7.56,目前找到的好指标5.04(DCFE),还有点距离 模型评测:目前测试模型,模型精度已经非常高,速度也很pc cpu 测试130fps,gpu 测试130×3fps,加了跟踪判断,感觉效果可以达到hyperlandmarks的样子了

大佬,厉害了!精度和速度都达到现在训练的最好水平,最后的这点提升是最难的,请教一下相比上次训练,这次做了哪些特别的改进?

luckynote commented 5 years ago

最新在WFLW数据集上: 平均误差:0.05397 (5.397%) 失败率:0.07091 (7.091%)超过LAB的 7.56,目前找到的好指标5.04(DCFE),还有点距离 模型评测:目前测试模型,模型精度已经非常高,速度也很pc cpu 测试130fps,gpu 测试130×3fps,加了跟踪判断,感觉效果可以达到hyperlandmarks的样子了

大佬,厉害了!精度和速度都达到现在训练的最好水平,最后的这点提升是最难的,请教一下相比上次训练,这次做了哪些特别的改进?

其实并未做什么调整,我按照你给的建议修改了网络,然后就是各种训练,调lr了

ShaunZheng commented 5 years ago

@liguiyuan 请教下,您的 batch-size 设置多大的呢?

batch-size 设了128

请问大佬,您数据增强是怎么做的呢,共计多少图片呢,是将 origin 先 flip 得到 origin + fip;再对 origin + fip 进行每隔五度旋转得到 origin + fip +rotate;然后对 origin + fip +rotate 这三个做随机遮挡,得到最终全部有遮挡的数据集吗。

liguiyuan commented 5 years ago

@liguiyuan 请教下,您的 batch-size 设置多大的呢?

batch-size 设了128

请问大佬,您数据增强是怎么做的呢,共计多少图片呢,是将 origin 先 flip 得到 origin + fip;再对 origin + fip 进行每隔五度旋转得到 origin + fip +rotate;然后对 origin + fip +rotate 这三个做随机遮挡,得到最终全部有遮挡的数据集吗。

不是呢。我使用按照论文里面3148张用于训练,然后结合这个代码里面SetPreparation.py的方法做16倍的增强,即旋转角度随机,翻转也随机,然后在每16张中随机抽一张进行遮挡。共计用于训练的图片3148*16 张。遮挡方法:自己随机生成一些不同颜色、不同形状的图,然后随机遮挡人脸面积的20% 。

github-luffy commented 5 years ago

@luckynote ,厉害!,请问一下,跟踪判断是怎么弄的,可以分享思路嘛

luckynote commented 5 years ago

@luckynote ,厉害!,请问一下,跟踪判断是怎么弄的,可以分享思路嘛

可以参考SDM实现的跟踪方案

luckynote commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110

2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

我也正在尝试300w的训练,

mean error: 0.034 failure rate: 0.006 这个指标是使用的IPN还是ION(源代码给的计算指标)?

ShaunZheng commented 5 years ago

最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)

我也正在尝试300w的训练,

mean error: 0.034 failure rate: 0.006 这个指标是使用的IPN还是ION(源代码给的计算指标)?

这个 repo 给的是 ION 的,并且这里的 ION 计算方法貌似有问题

luckynote commented 5 years ago

我修改了评测的bug,重新对我的 0.05397 (5.397%)的模型进行评测,评测结果如下,其他不变

Norm Testset (2500) Pose  Subset (326) Expression Subset (314) Illumination Subset (698) Make-Up  Subset (206) Occlusion Subset (736) Blur Subset (773)
ION 5.56 10.05 6.20 5.54 5.80 6.72 6.12

在300W数据集上自训模型模型评测结果

Norm common challenge fullset
IPN 4.98 8.50 5.67
ION 3.59 5.89 4.04

我汇总来近年来人脸关键点算法及其相关的指标(mean error)在300w 和 wflw 两个数据集上的结果,感兴趣的可以作为一个参考 https://blog.csdn.net/lgh0824/article/details/86741053

ShaunZheng commented 5 years ago

我修改了评测的bug,重新对我的 0.05397 (5.397%)的模型进行评测,评测结果如下,其他不变

Testset (2500) Pose  Subset (326) Expression Subset (314) Illumination Subset (698) Make-Up  Subset (206) Occlusion Subset (736) Blur Subset (773) 5.57 10.30 6.27 5.50 5.78 6.81 6.21

很强,这个是 ION 还是 IPN 的呢

luckynote commented 5 years ago

我修改了评测的bug,重新对我的 0.05397 (5.397%)的模型进行评测,评测结果如下,其他不变 Testset (2500) Pose  Subset (326) Expression Subset (314) Illumination Subset (698) Make-Up  Subset (206) Occlusion Subset (736) Blur Subset (773) 5.57 10.30 6.27 5.50 5.78 6.81 6.21

很强,这个是 ION 还是 IPN 的呢

ION