人物再識別事前学習のための動画間ID相関関係学習

[fulfulggg]

タイトル: 人物再識別事前学習のための動画間ID相関関係学習

リンク: https://arxiv.org/abs/2409.18569

概要:

近年の研究により、インターネットビデオから抽出した大規模な人物画像を用いた事前学習が、人物再識別のためのより良い表現を学習する上で効果的であることが証明されています。しかし、これらの研究は、インスタンスレベルまたは単一ビデオトラックレットレベルでの事前学習に限定されているものがほとんどです。人物再識別において重要な焦点である、異なるビデオ間における同一人物の画像における同一性不変性については無視されています。この問題に対処するため、本研究では、Cross-video Identity-cOrrelating pre-traiNing (CION) フレームワークを提案します。同一人物内の一貫性と人物間における識別の両方を包括的に考慮したノイズの概念を定義し、CIONは、クロスビデオ画像からの同一性の相関関係を、段階的な多レベルノイズ除去問題としてモデル化することでこれを求めます。さらに、人物画像内の同一性不変性をマイニングすることにより、より大規模な事前学習を実現するために、同一性誘導型自己蒸留損失を提案します。CIONの効率性と性能の優位性を検証するために、広範な実験を行いました。CIONは、より少ない学習サンプル数でも、大幅に優れた性能を実現します。例えば、従来の最先端技術である~\cite{ISR}と比較して、同じResNet50-IBNを用いたCIONは、Market1501とMSMT17において、学習サンプル数を8%しか使用していないにもかかわらず、それぞれ93.3%と74.3%という高いmAPを達成しています。最後に、CIONは優れたモデルにとらわれない能力を示しており、この分野の多様な研究およびアプリケーションのニーズを満たすために、ReIDZooというモデル動物園を提供します。これは、GhostNet、ConvNext、RepViT、FastViTなど、合計10種類の構造を持つ32種類のモデルを含む、構造とパラメータにわたるCION事前学習済みモデルのシリーズを含んでいます。コードとモデルは、https://github.com/Zplusdragon/CION_ReIDZoo にて公開予定です。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• person-re-identification
• contrastive-learning
• self-supervised-learning

[fulfulggg]

論文要約

人物再識別事前学習のための動画間ID相関関係学習 (CION)

従来手法の課題

• 従来の人物再識別事前学習は、単一の動画内の画像に焦点を当てており、異なる動画にわたる人物の一貫性を考慮していなかった。

CION の提案

• 動画間ID相関関係学習: 異なる動画における同一人物の画像間の関係性を学習する。
• 段階的な多レベルノイズ除去: 人物間および同一人物内の画像の類似性と差異を捉えることで、ノイズの多いデータからでもロバストな特徴表現を学習。
• 同一性誘導型自己蒸留損失: 同一人物の画像から重要な特徴を抽出することで、より大規模な事前学習を可能にする。

結果

• 少ない学習データでも高精度: 従来手法と比べて大幅に少ないデータ量で、Market1501 と MSMT17 データセットにおいて優れた認識精度を達成。
• 多様なモデルアーキテクチャへの適用性: ResNet50-IBN だけでなく、GhostNet、ConvNext、RepViT、FastViTなど、様々なモデルアーキテクチャで有効性を確認。
• 事前学習済みモデルの公開 (ReIDZoo): 合計10種類の構造を持つ32種類の CION 事前学習済みモデルを公開し、研究開発を促進。

結論

CION は、動画間ID相関関係学習を通じて、人物再識別における事前学習の新たな可能性を示した。 少ない学習データでも高精度な認識を可能にし、様々なモデルアーキテクチャに適用可能であることから、今後の研究や応用に広く貢献することが期待される。