[2015] An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

[osuossu8]

https://arxiv.org/pdf/1507.05717.pdf

[osuossu8]

概要

• A novel neural network architecture is proposed

  • which integrates feature extraction, sequence modeling and transcription into a unified framework

• Compared with previous systems for scene text recognition, the proposed architecture has four distinctive properties

  • end-to-end
  • 文字のセグメンテーションや水平スケールの正規化を伴わない、任意の長さのシーケンスを自然に処理
  • 事前定義されたレキシコンに限定されず、レキシコンフリーとレキシコンベースのシーンテキスト認識タスクの両方で優れたパフォーマンスを実現
  • モデル小さい
  • 画像ベースの楽譜認識のタスクでうまく機能 (汎化性能)

• standard benchmarks

  • IIIT-5K
  • Street View Text
  • ICDAR datasets

結論

• CRNN (CNN+RNN) の提案
• さまざまな次元の入力画像を取得し、さまざまな長さの予測を生成
• 粗いレベルのラベル（単語など）で直接実行されるため、トレーニングフェーズで個々の要素（文字など）ごとに詳細な注釈を付ける必要なし
• much more compact and efficient model
  • abandons fully connected layers
• シーンテキストベンチマークでの実験では、CNN, RNN よりいい結果
• CRNNの一般性を検証する光学音楽認識（OMR）のベンチマークで、他より大幅に上回る
• 画像のシーケンス予測を含む他のドメインや問題（漢字認識など）に適用できる
• 高速化が課題

[osuossu8]

• imagebased sequence recognition

  • 現実の世界では、シーンテキスト、手書き、楽譜などの安定した視覚オブジェクトは、単独ではなく、シーケンスの形で発生する傾向がある
  • 単一のラベルではなく、一連のオブジェクトラベルを予測する必要がある
  • シーケンスオブジェクトは可変長である
  • DCNNモデルは、固定次元の入力と出力で動作することが多く、可変長のラベルシーケンスを生成できない

• シーンテキスト問題へのアプローチ

  • DCNN

    • 画像ベースのシーケンス認識に直接使用することはできない
    • 最初に個々の文字を検出し、次に、ラベル付けされた文字画像を使用してトレーニングされたDCNNモデルでこれらの検出された文字を認識
      • 元の単語画像から各文字を正確に検出して切り抜くために、強力な文字検出器をトレーニングする必要がある
    • シーンのテキスト認識を画像分類の問題として扱い、各英語の単語（合計90K語）にクラスラベルを割り当てる
      • 一般化が難しい

  • RNN

    • トレーニングとテストの両方で、シーケンスオブジェクト画像内の各要素の位置を必要としない
    • 入力オブジェクト画像を一連の画像特徴に変換する前処理ステップが不可欠
    • 前処理ステップはパイプライン内の後続のコンポーネントから独立
      • end to end 不可

  • ニューラルネットワークに基づかないいくつかの従来のシーンテキスト認識方法

    • 共通のベクトル部分空間に単語画像とテキスト文字列を埋め込むことを提案
      • 単語認識は検索問題に帰着
      • シーンテキスト認識に中間出力ベースの特徴量使用

[osuossu8]

CRNN アーキテクチャ

• conv 層, recurrent 層, 転写層の 3層からなる
• 転写層は、反復層によるフレームごとの予測をラベルシーケンスに変換するために採用
• CNN, RNN など複数のアーキからなるが、１つの損失関数を用いて同時に train できる