Fast Multi-language LSTM-based Online Handwriting Recognition

[agatan]

• https://arxiv.org/abs/1902.10525
• https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

G Board のオンライン手書き文字認識について書かれた論文。 多言語対応、ストロークの扱い方、パフォーマンス、あたりのことを知りたいので読んでみる。

全体像

昔は segmentation + 画像特徴量で encode → decoder という構造だったけど、前処理が大変だし性能も悪かった。 新しいモデルは Bidirectional LSTM + CTC と現代的には普通っぽい。

多言語対応

文字種ごとに 1 モデル LSTM を学習している。（arbic, chinese など） decode のときに言語ごとの language model を活用することで、言語ごとの特有のパターンに対応している。

入力の表現方法

• ストロークを表現する方法として、この論文ではベジェ曲線を使っている。
• もともと 1 点あたり 23 の handcrafted features を使っていたけど、ヒューリスティック多くて辛かったのでやめたかった
• (x1, y1, x2, y2, t) の列として表す方法もあるけど、デバイスによってサンプリングレートが違うので入力系列の特徴（長さや間隔）が変わって厄介だし、入力長も長すぎて扱いづらい
• ベジェ曲線は良い感じに入力の長さを短くできるし、サンプリングレートによる差も吸収できてうれしい

Decoder

ctc decoder には 7-gram character language model, 3-gram word language model, heuristic character weights の組み合わせを活用している。 vizier を使って bayesian optimization しているらしい... Google を感じる。

misc.

言語モデルでデコードすることの寄与は英語だとエラー率 1.46% 落としてるけど、中国語だと 0.16% なのか。まぁなんとなく直感どおりかも。