search

littletomatodonkey / insight-face-paddle

End-to-end face detection and recognition system using PaddlePaddle.
Apache License 2.0
106 stars 27 forks source link

试用下来的体验 #9

Open mikeshi80 opened 3 years ago

mikeshi80 commented 3 years ago

首先，Blazeface的人脸检测，对于头像占比比较大的图片，效果很差，但是对于占比小的，则效果很好。如下图的汤姆汉克斯，识别的置信度只有0.25左右 001

但是这样的集体照，则都在0.99左右 faces

另外，检测和识别的过程，看deepsight的Insightface项目，应该还缺少了Alignment这一步骤，所以当脸不是正对镜头时，计算获得的特征值的余弦相似度，会很差，如和下面的汤姆汉克斯图像对照，只有0.0X的相似度。但是这个不确定，因为InsightFace里用到的人脸检测模型应该是2d106det.onnx，模型本身就不相同。 004

而使用insightface时，两张都相似度在0.5左右。人脸识别都是用了ArcFace模型。

littletomatodonkey commented 3 years ago

你好，感谢你的关注

  1. 关于检测的问题，因为使用的是超轻量模型，这块anchor的设置其实相对较小，所以检测对于占据图像大部分面积的情况其实处理较差，这块可以参考PaddleDetection在自己的数据集上进行finetune，或者使用更大的模型训练，如果需求很大，我们后续也会考虑提供精度更高的检测模型
  2. 目前该repo中还没有涉及到人脸alignment的步骤，所以你说的这个倾斜的情况下，相似度差异较大的情况是存在的
  3. 两个模型都是从头训练的，参数和训练策略也会造成相似度的差异，不过这块没有定量地评估过
  4. 再次感谢你的关注和使用，效果这块我们会继续优化，你如果有什么需求也欢迎通过issue或者邮件的形式(dazhiningsibuqu@163.com)联系我~
mikeshi80 commented 3 years ago

多谢回复，因为之前的项目，无论是分类，检测，还是OCR，都是使用飞桨的 ，所以在人脸识别上，也希望使用飞桨的平台来完成，以便部署的一致性。我试试看使用OpenCV的人脸检测，加上简单的对齐操作（使用识别出的五点，然后再和给定的标准5点进行一次transform），看看再使用人脸识别后的特征，相似度是否会提高。

littletomatodonkey commented 3 years ago

嗯嗯，我们其实最近也在准备把训练相关的代码合入到insight-face的官方repo中去，可以参考下这个PR：https://github.com/deepinsight/insightface/pull/1652

你可以试下对齐对效果的影响，有效的话欢迎分享或者给我们提PR哈

mikeshi80 commented 3 years ago

OK，持续关注

mikeshi80 commented 3 years ago

惨，PaddlePaddle与dlib都用到了OpenMP，所以无法同时在一个项目里使用 ，无法使用dlib来进行人脸检测和对齐……

yfq512 commented 3 years ago

@mikeshi80 大神你好，我想请教一个关于人脸识别的问题：我写了个基于dlib实现人脸识别的项目，当我用uwsgi和Django去部署从而实现多并发时，会报错：from _dlib_pybind11 import * >>> ImportError: libcudnn.so.7: failed to map segment from shared object，而不用uwsgi，仅用Django自带的runserver单线程模式部署就不会报错。 这是dlib的问题么？能否通过修改一些配置来解决这个问题么？

mikeshi80 commented 3 years ago

@mikeshi80 大神你好，我想请教一个关于人脸识别的问题：我写了个基于dlib实现人脸识别的项目，当我用uwsgi和Django去部署从而实现多并发时，会报错：from _dlib_pybind11 import * >>> ImportError: libcudnn.so.7: failed to map segment from shared object，而不用uwsgi，仅用Django自带的runserver单线程模式部署就不会报错。 这是dlib的问题么？能否通过修改一些配置来解决这个问题么？

抱歉，才看到，这个问题我也没有头绪，多半是多线程问题。估计要加锁

tao2021 commented 2 years ago

制作索引时，需要多少张图片才有效果，我使用了4张照片来表明是一个人，但是效果完全检测不出来，我想问下，是制作索引的图片太少的原因还是我是用的模型的原因，我i使用的识别模型是mobileface