search

alxmcs / composite-portrait-recognition

НИР "Распознавание человека сравнением натуралистического портретного изображения с композитным портретом"
0 stars 1 forks source link

Расширение исследований #20

Closed alxmcs closed 1 year ago

alxmcs commented 1 year ago

Предлагаю посмотреть в сторону этой библиотеки. Там есть обученные детекторы и обученные экстракторы.

На данный момент исследование arcface на базе resnet50 и реализации из dlib не сильно последовательно. Если же брать эту библиотеку, то можно соорудить относительно грамотное исследование - для разных функций потерь и разных бекбоунов можно получить результаты классификации по нашему датасету в таком виде:

Без переноса стиля

loss/backbone MobileFaceNet SqueezeNet MobileNet MobileNetV2 DenseNet NasNetMobile
ArcFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
CombinedMargin acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
SphereFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
CosFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1

С переносом стиля из G. Ghiasi et al.

loss/backbone MobileFaceNet SqueezeNet MobileNet MobileNetV2 DenseNet NasNetMobile
ArcFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
CombinedMargin acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
SphereFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
CosFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1

По идее, в этой библиотеке взаимодействие с моделями настолько выведено на профанный уровень, что такое исследование не потребует написания большого количества кода. Но можно ограничиться 3 моделями и 3 функциями потерь из списка доступных, если времени будет не хватать.

Потенциально, можно еще посмотреть зоопарк tf на предмет других сетей с переносом стиля, чтобы исследование было более мощным, тогда, соответственно, появится результат вида:

С переносом стиля из username

loss/backbone MobileFaceNet SqueezeNet MobileNet MobileNetV2 DenseNet NasNetMobile
ArcFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
CombinedMargin acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
SphereFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
CosFace acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1 acc,prec,rec,f1
alxmcs commented 1 year ago

Потециальная замена facelib - эта библиотека Исследование будет поскромнее, конечно, но хотя бы не придется сношаться с линуксом и версией интерпертаора для зависимостей.

Получится что-то типа такого: Без переноса стиля backbone accuracy precision recall f1
VGG-Face a p r f
Facenet a p r f
Facenet512 a p r f
OpenFace a p r f
DeepFace a p r f
DeepID a p r f
ArcFace a p r f
Dlib a p r f
SFace a p r f
С переносом стиля из G. Ghiasi et al. backbone accuracy precision recall f1
С переносом стиля по чего-нибудь еще и т.д. backbone accuracy precision recall f1