e4exp
commented
2 years ago 1. はじめに
既存の高密度予測アーキテクチャのほとんどは，畳み込みネットワークをベースにしています [6, 31, 34, 42, 49, 50, 53]．密な予測アーキテクチャの設計では，ネットワークをエンコーダとデコーダに論理的に分離するパターンが一般的です． エンコーダは，ImageNetなどの大規模なコーパスで事前に学習された画像分類ネットワーク（バックボーンとも呼ばれる）をベースにしていることが多い[9]． デコーダは，エンコーダからの特徴量を集約し，最終的な密な予測値に変換する． 密な予測に関するアーキテクチャの研究では，デコーダとその集約戦略に焦点が当てられることが多い[6, 7, 50, 53]． しかし，エンコーダで失われた情報をデコーダで回復することは不可能であるため，バックボーンアーキテクチャの選択がモデル全体の性能に大きな影響を与えることは広く知られています． 畳み込みバックボーンは、入力画像を段階的にダウンサンプリングすることで、複数のスケールの特徴を抽出します。 ダウンサンプリングを行うことで、受容野を段階的に拡大し、低レベルの特徴を抽象的な高レベルの特徴にグループ化することができ、同時にネットワークのメモリと計算量を扱いやすく保つことができます。 しかし、ダウンサンプリングには、高密度な予測タスクにおいて特に顕著な欠点があります。 すなわち、モデルの深い段階で特徴の解像度と粒度が失われ、デコーダでの回復が困難になります。 特徴の解像度と粒度は、画像分類などの一部のタスクでは問題にならないかもしれませんが、入力画像の解像度またはそれに近い解像度で特徴を解決できるアーキテクチャが理想的な高密度予測では、非常に重要になります。
特徴の粒度が失われるのを緩和するために、さまざまな手法が提案されている。 例えば，より高い入力解像度での学習（計算量が許せば），ダウンサンプリングせずに受容野を急速に拡大する拡張畳み込み[49]，エンコーダの複数のステージからデコーダへの適切な位置でのスキップ接続[31]，さらに最近では，ネットワーク全体で複数の解像度の表現を並列に接続する方法[42]などが挙げられる． これらの技術は予測品質を大幅に向上させることができますが，ネットワークの基本的な構成要素である畳み込みがボトルネックになっています． 畳み込みは，非線形性とともに，画像解析ネットワークの基本的な計算単位となっています． 畳み込み演算は、定義上、限られた受容野を持つ線形演算子です。 畳み込みの表現力は限られているため、十分に広い文脈と高い表現力を得るためには、非常に深いアーキテクチャに順次積み重ねていく必要があります。 しかし、そのためには、大量のメモリを必要とする多くの中間表現を生成する必要があります。 既存のコンピュータアーキテクチャで実現可能なレベルのメモリ消費量を維持するためには、中間表現をダウンサンプリングする必要があります。
本研究では，DPT（dense prediction transformer）を紹介します． DPTは、エンコーダの基本的な計算構成要素として変換器を利用したエンコーダ・デコーダの設計に基づく高密度予測アーキテクチャです。 具体的には，最近提案されたビジョン・トランスフォーマー（ViT）[11]をバックボーン・アーキテクチャとして使用している． ViTが提供する単語の袋表現を，さまざまな解像度の画像のような特徴表現に再構成し，畳み込みデコーダを用いて，特徴表現を段階的に組み合わせて最終的な密な予測を行う． 完全な畳み込みネットワークとは異なり、ビジョン変換器のバックボーンでは、最初の画像埋め込みが計算された後に明示的なダウンサンプリング処理を行わず、すべての処理段階で一定の次元の表現を維持します。 さらに、すべての段階でグローバルな受容野を持っています。 これらの特性は、緻密な予測タスクには特に有利であり、きめ細かく大域的に一貫した予測が可能になることを示します。
本研究では，単眼深度推定とセマンティックセグメンテーションの実験を行った． 大規模な学習データが利用可能な汎用の単眼深度推定[30]のタスクに対して，DPTは，このタスクでトップの性能を持つ完全畳み込みネットワークと比較して，28%以上の性能向上を実現した． また，このアーキテクチャは，NYUv2[35]やKITTI[15]などの小規模な単眼深度予測データセットに対しても微調整が可能であり，ここでも新たな技術水準を確立しています． DPTの性能の高さは、セマンティクスセグメンテーションの実験でも証明されています。 このタスクでは，難易度の高いADE20K [54]およびPascal Context [26]データセットにおいて，DPTは新たな技術水準を確立した． 定性的には、畳み込みネットワークと比較して、よりきめ細かく、よりグローバルに一貫した予測を行うことで、性能が向上したと考えられます。
密な予測タスクのバックボーンとして、畳み込みネットワークの代わりに視覚変換器を活用するアーキテクチャである「密な視覚変換器」を紹介します。 視覚変換器の様々な段階で得られたトークンを様々な解像度の画像のような表現に組み立て、畳み込みデコーダを用いてフル解像度の予測に段階的に結合します。 変換器のバックボーンは、一定の比較的高い解像度で表現を処理し、すべての段階でグローバルな受容野を持っています。 これらの特性により、この高密度ビジョン変換器は、完全な畳み込みネットワークと比較して、よりきめ細かく、よりグローバルに一貫した予測を行うことができます。 我々の実験によると、このアーキテクチャは、特に大量の学習データが利用可能な場合、密な予測タスクにおいて大幅な改善をもたらす。
単眼の深度推定では，最先端の完全畳み込みネットワークと比較して，相対的な性能が最大で28%向上したことが確認された． また、セマンティックセグメンテーションに適用したところ、密度の高いビジョン変換は、ADE20Kにおいて49.02%のmIoUを達成し、新たな技術水準を確立しました。 さらに、NYUv2、KITTI、Pascal Contextなどの小規模なデータセットにおいても、アーキテクチャの微調整が可能であることを示しており、これらのデータセットにおいても新たな技術水準を確立しています。 我々のモデルはこのhttpsのURLから入手可能です。
https://github.com/intel-isl/DPT