【2018】SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction

[Yongtae723]

ざっくり言うと

『人の顔画像の綺麗さ』を評価するAIをために作られたデータベース。 このデータベースには人の顔画像と60人のlabererが評価した顔の評価点がセットとなっている。 このデータベースを用いることで ①顔画像を綺麗にするAIの開発 ②コンテンツベースの画像検索 ③適切なメイクを提案してくれるAIの開発 に応用できると期待されている。

キーワード

Face beauty Dataset

1. 情報

論文リンク

https://arxiv.org/abs/1801.06345

著者

Lingyu Liang

投稿日付

2018

2. 先行研究と比べてどこがすごい？

人の顔の魅力には、顔のそれぞれの部品(目、鼻等)のクオリティ、バランス等、様々な要素が入り込んでおり、一つの指標のみで考えることが出来ない。しかしこれまでのデータベースでは一つの指標の評価(顔のバランス、目の美しさ等)だけに特化した物や、顔のみではなくポーズまで含んで評価しているの場ありで顔のみの総合的な美しさで評価していない。 本研究で提案しているデータベースは60人のlabelerに総合的な顔の魅力を評価してもらうことで、顔の総合的な魅力のlabel付けされたデータベースが出来た。 それだけでなく、このデータベースにはFace landmark(目、鼻、輪郭等顔の重要な部分の場所)までラベルデータとしてある。

3. 技術や手法のキモはどこ？

同上

4. どうやって有効だと検証した？

論文ではAIがきちんと美しさを評価できるのか検証していた。 検証に用いられた機械学習の方法はLinear regression, Gaussian Regression , SVRで、またDeep learningを用いた方法として(AlexNet, Resnet-18, ResNeXt-50)を用いていた。

5. 議論はある？

--

6. 次に読むべき論文は？

①顔画像を綺麗にするAIの開発ーL. Liang, L. Jin, and D. Liu, “Edge-aware label propagation for mobile facial enhancement on the cloud,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 27, no. 1, pp. 125-138, 2017 ②コンテンツベースの画像検索ー N. Murray, L. Marchesotti L, and F. Perronnin, “AVA: A large-scale database for aesthetic visual analysis,” in Proc. of CVPR, pp. 2408-2415, 2012. ③適切なメイクを提案してくれるAIの開発ーD. Zhang, F. Chen, and Y. Xu, Computer models for facial beauty analysis. Springer International Publishing Switzerland, 2016.

7. 実装の詳細

https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

8. データセット

https://github.com/HCIILAB/SCUT-FBP5500-Database-Release

9. 結果の詳細

Linear regression, Gaussian Regression , SVRでも、beauty predictionはできていたが(ピアソン相関係数＝0.6程度)、Deep learinigを用いた解析では精度がはるかによかった(ピアソン相関係数=0.9程度)。他の画像解析と同様にBeauty predictionにはDeep learinigを用いた方が精度が良いという結果が得られた。

雑感&メモ

このデータベースを用いた応用が非常に魅力的です。論文で紹介されていた応用例は違うデータセットを用いて行われているっぽいので、その論文からエッセンスを引きぬき、このデータセットに応用することでFace beautyに関するAIが組み立てられると期待しています。