Open liguiyuan opened 5 years ago
mean error:0.055 failure rate:0.086
添加训练样本或者修改网络,我都尝试了,最好的效果mean error:0.055,failure rate:0.086;现在准备在移动端测试速度,看能否使用。
添加训练样本或者修改网络,我都尝试了,最好的效果mean error:0.055,failure rate:0.086;现在准备在移动端测试速度,看能否使用。
请问你修改网络是怎么修改的, 我到mean error: 0.085 就降不下去了
添加训练样本或者修改网络,我都尝试了,最好的效果mean error:0.055,failure rate:0.086;现在准备在移动端测试速度,看能否使用。
可以的话,麻烦分享下修改网络的经验呗~
目前我发现欧拉角估算偏差有点大,可能会影响网络的学习,打算去掉辅助网络再训练看看效果了
网络用的mobileNetV3,10000多张人脸,做数据增强后,总共30多万张图片。
网络用的mobileNetV3,10000多张人脸,做数据增强后,总共30多万张图片。
听您的描述,您是把2500测试集也用作训练了啊,这样对最终测试的MNE不太准确吧。
测试集不变,从其他人脸库找了新的数据
小白请教,failure rate反应的是什么呢?如何理解失败率
小白请教,failure rate反应的是什么呢?如何理解失败率
简单来讲,就是根据MNE,取一个固定的阈值,比如取T=0.10,然后统计大于T的样本数量,这些都记为失败,然后你就看到失败率了,如果取多个T,你就可以绘制AUC曲线了
测试集不变,从其他人脸库找了新的数据
不同数据集算Wn问题你怎么解决的呢,我改到了0.060,没有其他数据。能否分享下学习率等的设置
都是68点的数据------------------ 原始邮件 ------------------ 发件人: "Sawyer000"notifications@github.com 发送时间: 2019年7月26日(星期五) 上午10:56 收件人: "guoqiangqi/PFLD"PFLD@noreply.github.com; 抄送: "叶修强"luffyxq@qq.com;"Comment"comment@noreply.github.com; 主题: Re: [guoqiangqi/PFLD] 提升精度问题 (#28)
测试集不变,从其他人脸库找了新的数据
不同数据集算Wn问题你怎么解决的呢,我改到了0.060,没有其他数据。能否分享下学习率等的设置
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110
2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
你们嘴巴训练的效果怎么样,会不会偶尔嘴巴的点就飘了,下不来的情况?
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110
2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
关于,300W论文哪里有提到“mean error: 0.0332”?
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
关于,300W论文哪里有提到“mean error: 0.0332”?
PFLD 论文中有的,你仔细再读读吧
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
你们嘴巴训练的效果怎么样,会不会偶尔嘴巴的点就飘了,下不来的情况?
嘴巴没遮挡效果还好啦,如果嘴巴又遮挡的话就往上飘了
你们嘴巴训练的效果怎么样,会不会偶尔嘴巴的点就飘了,下不来的情况?
嘴巴没遮挡效果还好啦,如果嘴巴又遮挡的话就往上飘了
我觉得有遮挡,会飘的问题很正常,wflw本身遮挡的图片也不是很多,在没有遮挡下,嘴巴各个姿态都还不错。 其实最主要的是眼睛和眉毛,这两个地方似乎是有些过拟合了,基本不会随着表情状态的变化而变化,灵敏度和定位的准确性不如sdm和ert。
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
能分享一下网络修改、学习率和epoch么,我WFLW的failure rate 0.018
网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 学习率:可以从1e-4开始,然后进行迭代递减 epoch:目前只训练了1000个epoch(其实到150个epoch已经达到最好效果了)
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
关于,300W论文哪里有提到“mean error: 0.0332”?
PFLD 论文中有的,你仔细再读读吧 @luckynote 请教,是从Figure 3: CED curves上看出来的吗?:(
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
关于,300W论文哪里有提到“mean error: 0.0332”?
PFLD 论文中有的,你仔细再读读吧 @luckynote 请教,是从Figure 3: CED curves上看出来的吗?:(
Table 4: Comparison in normalized mean error on the 300W Common Subset, Challenging Subset, and Fullset.
PFLD 1X common(3.32) chellenging(6.56) fullset(3.95)
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
- 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
- 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
- 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
- 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
- ncnn的暂时未操作
感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少?
针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
关于,300W论文哪里有提到“mean error: 0.0332”?
PFLD 论文中有的,你仔细再读读吧 @luckynote 请教,是从Figure 3: CED curves上看出来的吗?:(
Table 4: Comparison in normalized mean error on the 300W Common Subset, Challenging Subset, and Fullset.
PFLD 1X common(3.32) chellenging(6.56) fullset(3.95) @luckynote 谢谢,请问fullset 上你们能达到多少?
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
- 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
- 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
- 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
- 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
- ncnn的暂时未操作
感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少?
针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。
网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。
我只修改了网络,没有增加数据,大概迭代2000次左右吧
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
- 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
- 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
- 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
- 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
- ncnn的暂时未操作
感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。
网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。
我只修改了网络,没有增加数据,大概迭代2000次左右吧
除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
- 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
- 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
- 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
- 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
- ncnn的暂时未操作
感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。
网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 我只修改了网络,没有增加数据,大概迭代2000次左右吧
除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。
我同样尝试了你说的这个方法,似乎对眼睛睁闭和眉毛变动的微表情没什么帮助
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
- 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
- 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
- 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
- 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
- ncnn的暂时未操作
感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。
网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 我只修改了网络,没有增加数据,大概迭代2000次左右吧
除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。
我同样尝试了你说的这个方法,似乎对眼睛睁闭和眉毛变动的微表情没什么帮助
对双眼同时睁或同时闭效果还不错,但对一睁一闭的效果就不好了,眉毛变动如果比较夸张的话,还是不太准。简单看了训练集里面的图片,感觉只能在训练集增加这方面的图片了。
请问你们landmark_loss以及euler_loss都是多少啊?为什么我的landmark_loss为0.001,而euler_loss缺为0.12左右,landmark收敛特别迅速,而euler_loss收敛特别缓慢,所以我的mean_error训练到0.14就很难降低了,,求助一下,谢谢
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110
2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?
最新精度分享: 在 WFLW数据集上: mean error: 5.597% failure rate: 8.213% 目前该模型在测试集上指标已经非常好了,但同样面临着如下问题:
- 检测自跟踪框或检测的Bbox对于正脸效果较好,但同样对于抬头、侧脸状态,存在眉毛、眼睛定位不准的问题
- 该模型对于各个姿态的张嘴有一定的准确度,但对于眨眼和眉毛跳动等状态定位非常差
- 对于闭嘴状态下,嘴巴最外层关键点比真值有一定偏差
- 此外就是转pb,lite,模型确实很小,只有2点几M,但c++接口相对于python而言,检测速度会下降一半等问题
- ncnn的暂时未操作
感谢你的分享,你在测试集上效果很好了呀,请问一下你的训练集有没有加更多的样本或者一些特殊从处理?还有你的epoch是多少? 针对你以上的问题,貌似我这边有些解决了: 1.对于抬头、侧脸状态下眉毛和眼睛定位的问题,我这边一开始也是比较不准的,通过修改网络结构得到较大的改善。 2.对于眨眼(闭眼?)也是通过修改网格结构得到改善。
网络修改,是指 下面这个吗? 网络修改:在bottlenet层的1x1 conv 的expand 扩张加上激活函数RELU6,增加非线性成分;然后conv8上,pandding改为VALID。 我只修改了网络,没有增加数据,大概迭代2000次左右吧
除了这个,还去掉了最后的两个pool层,卷积conv6,conv7直接flatten。其实就是改成和论文里面的一样。
我同样尝试了你说的这个方法,似乎对眼睛睁闭和眉毛变动的微表情没什么帮助
对双眼同时睁或同时闭效果还不错,但对一睁一闭的效果就不好了,眉毛变动如果比较夸张的话,还是不太准。简单看了训练集里面的图片,感觉只能在训练集增加这方面的图片了。
增加了闭眼的权重,感觉单眼的闭眼有效果,目前来看,还是对带眼镜状态效果较差,对不带眼镜来说,效果还可以
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?
用了辅助网络,在300W数据集,fullset,Inter-ocular Normalization (ION)下最好:3.39
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?
用了辅助网络,在300W数据集,fullset,Inter-ocular Normalization (ION)下最好:3.39 @liguiyuan 已经超越原始论文啦!!!另外请教一下: 1.300w数据的分类你们是怎么打标签的呢? 2.在没有辅助网络的情况下能达到多少呢?个人对这个辅助网络的效果表示怀疑:(( 3.使用了其它的数据集吗?大概使用了多少数据达到(ION) 3.39?
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332) @liguiyuan 请问,用辅助网络了吗?在300W数据集fullset上能达到什么水平?
用了辅助网络,在300W数据集,fullset,Inter-ocular Normalization (ION)下最好:3.39 @liguiyuan 已经超越原始论文啦!!!另外请教一下: 1.300w数据的分类你们是怎么打标签的呢? 2.在没有辅助网络的情况下能达到多少呢?个人对这个辅助网络的效果表示怀疑:(( 3.使用了其它的数据集吗?大概使用了多少数据达到(ION) 3.39?
1.自己手动打标签,可以自己做个工具 2.没试过去掉辅助网络的情况,你可以试一下。(以前在WFLW上再训练试过,有没有辅助网络影响不大) 3.没有使用其他数据集,完全按照论文来实施(3148 training,689 testing),然后再做数据增强。
最新 精度分享:1。在WFLW数据集上: 平均误差:0.062 失败率:0.110
2.在300W数据集上: 平均误差:0.034 失败率:0.006 (已经较接近论文,论文为均误:0.0332)
您好,请问可以分享一下模型这一版的数据么,最好是pb文件,我做一下参考,麻烦您了
目前我发现欧拉角估算偏差有点大,可能会影响网络的学习,打算去掉辅助网络再训练看看效果了
你好,能加个好友一起交流下pfld的训练吗? 我目前在做针对亚洲人人脸的关键点标注
@liguiyuan 请教下,您的 batch-size 设置多大的呢?
最新在WFLW数据集上: 平均误差:0.05397 (5.397%) 失败率:0.07091 (7.091%)超过LAB的 7.56,目前找到的好指标5.04(DCFE),还有点距离 模型评测:目前测试模型,模型精度已经非常高,速度也很pc cpu 测试130fps,gpu 测试130×3fps,加了跟踪判断,感觉效果可以达到hyperlandmarks的样子了
@liguiyuan 请教下,您的 batch-size 设置多大的呢?
batch-size 设了128
最新在WFLW数据集上: 平均误差:0.05397 (5.397%) 失败率:0.07091 (7.091%)超过LAB的 7.56,目前找到的好指标5.04(DCFE),还有点距离 模型评测:目前测试模型,模型精度已经非常高,速度也很pc cpu 测试130fps,gpu 测试130×3fps,加了跟踪判断,感觉效果可以达到hyperlandmarks的样子了
大佬,厉害了!精度和速度都达到现在训练的最好水平,最后的这点提升是最难的,请教一下相比上次训练,这次做了哪些特别的改进?
最新在WFLW数据集上: 平均误差:0.05397 (5.397%) 失败率:0.07091 (7.091%)超过LAB的 7.56,目前找到的好指标5.04(DCFE),还有点距离 模型评测:目前测试模型,模型精度已经非常高,速度也很pc cpu 测试130fps,gpu 测试130×3fps,加了跟踪判断,感觉效果可以达到hyperlandmarks的样子了
大佬,厉害了!精度和速度都达到现在训练的最好水平,最后的这点提升是最难的,请教一下相比上次训练,这次做了哪些特别的改进?
其实并未做什么调整,我按照你给的建议修改了网络,然后就是各种训练,调lr了
@liguiyuan 请教下,您的 batch-size 设置多大的呢?
batch-size 设了128
请问大佬,您数据增强是怎么做的呢,共计多少图片呢,是将 origin 先 flip 得到 origin + fip;再对 origin + fip 进行每隔五度旋转得到 origin + fip +rotate;然后对 origin + fip +rotate 这三个做随机遮挡,得到最终全部有遮挡的数据集吗。
@liguiyuan 请教下,您的 batch-size 设置多大的呢?
batch-size 设了128
请问大佬,您数据增强是怎么做的呢,共计多少图片呢,是将 origin 先 flip 得到 origin + fip;再对 origin + fip 进行每隔五度旋转得到 origin + fip +rotate;然后对 origin + fip +rotate 这三个做随机遮挡,得到最终全部有遮挡的数据集吗。
不是呢。我使用按照论文里面3148张用于训练,然后结合这个代码里面SetPreparation.py的方法做16倍的增强,即旋转角度随机,翻转也随机,然后在每16张中随机抽一张进行遮挡。共计用于训练的图片3148*16 张。遮挡方法:自己随机生成一些不同颜色、不同形状的图,然后随机遮挡人脸面积的20% 。
@luckynote ,厉害!,请问一下,跟踪判断是怎么弄的,可以分享思路嘛
@luckynote ,厉害!,请问一下,跟踪判断是怎么弄的,可以分享思路嘛
可以参考SDM实现的跟踪方案
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110
2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
我也正在尝试300w的训练,
mean error: 0.034 failure rate: 0.006 这个指标是使用的IPN还是ION(源代码给的计算指标)?
最新精度分享: 1.在 WFLW数据集上: mean error: 0.062 failure rate: 0.110 2.在300W数据集上: mean error: 0.034 failure rate: 0.006 (已经较接近论文,论文为mean error: 0.0332)
我也正在尝试300w的训练,
mean error: 0.034 failure rate: 0.006 这个指标是使用的IPN还是ION(源代码给的计算指标)?
这个 repo 给的是 ION 的,并且这里的 ION 计算方法貌似有问题
我修改了评测的bug,重新对我的 0.05397 (5.397%)的模型进行评测,评测结果如下,其他不变
Norm | Testset (2500) | Pose Subset (326) | Expression Subset (314) | Illumination Subset (698) | Make-Up Subset (206) | Occlusion Subset (736) | Blur Subset (773) |
---|---|---|---|---|---|---|---|
ION | 5.56 | 10.05 | 6.20 | 5.54 | 5.80 | 6.72 | 6.12 |
在300W数据集上自训模型模型评测结果
Norm | common | challenge | fullset |
---|---|---|---|
IPN | 4.98 | 8.50 | 5.67 |
ION | 3.59 | 5.89 | 4.04 |
我汇总来近年来人脸关键点算法及其相关的指标(mean error)在300w 和 wflw 两个数据集上的结果,感兴趣的可以作为一个参考 https://blog.csdn.net/lgh0824/article/details/86741053
我修改了评测的bug,重新对我的 0.05397 (5.397%)的模型进行评测,评测结果如下,其他不变
Testset (2500) Pose Subset (326) Expression Subset (314) Illumination Subset (698) Make-Up Subset (206) Occlusion Subset (736) Blur Subset (773) 5.57 10.30 6.27 5.50 5.78 6.81 6.21
很强,这个是 ION 还是 IPN 的呢
我修改了评测的bug,重新对我的 0.05397 (5.397%)的模型进行评测,评测结果如下,其他不变 Testset (2500) Pose Subset (326) Expression Subset (314) Illumination Subset (698) Make-Up Subset (206) Occlusion Subset (736) Blur Subset (773) 5.57 10.30 6.27 5.50 5.78 6.81 6.21
很强,这个是 ION 还是 IPN 的呢
ION
大家来分享一下训练的最好精度,还有提升精度的方法? 目前我在 WFLW数据集最好精度: mean error: 0.073(7.3 %) failure rate: 0.175(17.5%)