Enabling ISP-less Low-Power Computer Vision

[tkuri]

論文概要

認識タスク等にはデモザイク等のISP処理は(あまり)いらないのでバイパスするのが効率的、というのが通説になっているが、大規模データセットの多くがRGB画像で構成されているためRAW画像でDeepなモデルを学習することは困難。そこで大規模RAW画像データベースを公開(予定)。

このデータセットはInvertibleなNNを用いてISPパイプライン全体を反転することによって生成される。またRaw画像を直接使うよりも精度向上させるためにセンサ画素配列上に直接実装可能な低オーバーヘッドの画素内デモザイクを提案。アナログドメインで加算等を行い、データ帯域幅を削減することが可能。

https://arxiv.org/abs/2210.05451

Code

未確認