Open nekonookangae opened 4 years ago
全タスク共有のネットワークに、タスクごとにAttentionモジュールを追加することで、パラメータの増加を最小限に抑えつつマルチタスク学習を可能にするMulti-Task Attention Network（MTAN）を提案。 任意の順伝播ネットワークに適用可能であり、SegNetを用いてSemantic SegmentationとDepth Segmentationタスクを対象に既存の方法と比較した結果、マルチタスク損失関数のさまざまな重み付けスキームにあまり影響されないことを示しています。
http://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_End-To-End_Multi-Task_Learning_With_Attention_CVPR_2019_paper.pdf
Shikun Liu, Edward Johns, Andrew J. Davison
2018/3/28 CVPR 2019.
タスク固有の特徴レベルのAttentionの学習を可能にする、新しいマルチタスク学習アーキテクチャを提案します。 私たちの設計であるMulti-Task Attention Network（MTAN）は、グローバル特徴プールを含む単一の共有Networkと、各タスクのSoft-Attentionモジュールで構成されています。 これらのモジュールにより、グローバル特徴からタスク固有の特徴を学習できると同時に、異なるタスク間で特徴を共有できます。 このアーキテクチャは、end-to-end (端から端まで) トレーニングでき、順伝播Neural Network上に構築でき、実装が簡単で、パラメータが効率的です。 画像間予測と画像分類タスクの両方にわたって、さまざまなデータセットに対するアプローチを評価します。 私たちのアーキテクチャは、既存の方法と比較してマルチタスク学習の最先端であり、マルチタスク損失関数のさまざまな重み付けスキームにあまり敏感ではないことを示しています。
タスクごとに層ではなくAttentionモジュールを追加することで、1タスクにつき10%のパラメータを増やすだけでマルチタスク学習が実現できる。また、任意の順伝播ネットワークに適用可能であることから、更なるアーキテクチャの拡張が見込まれる。
Image-to-Image Prediction (入力も出力も画像であるタスクのこと) の2つのタスク (Semantic Segmentation ※1, Depth Segmentation ※2) において、NYUv2 ※3 およびCityScapes ※4 データセットを用いてSegNet ※5 で実験を行った結果、従来のアーキテクチャと比べて大幅に少ないパラメータで同等以上の結果を示し、特にクラス数が増加した場合に顕著な差が見られた。
※1 画像内の全ピクセルにラベルやカテゴリを関連付けるタスク。 簡単に言うと、画像に写る複数の物体を判別させる問題のこと ※2 Depth = 深度。ここでは、画像に写る物体の「遠近」を判別させ、 各物体が遠いほど「黒」く、近いほど「白」く塗られた画像を出力させる問題のこと。 ※3 室内で撮影された画像を使用するデータセット。 ※4 ドイツの50都市の画像を使用するデータセット。 ※5 Semantic Segmentationにおいて広く用いられている、Encoder-Decoderネットワーク。 EncoderにはVGG16のうちの畳み込み部分の13層が、Decoderにはアップサンプリング (入力された画像サイズを大きくして出力) 用のNetworkが使われている。 自動運転などの交通シーンに応用が期待できる一方で、モバイルデバイスに組み込むには計算量の削減が必要とされている。
CIFAR-10/100ではなく、もう少し難しい問題を対象にしたデータセットを用いたマルチタスク学習が多いので、そこにフォーカスしたものを作る方法は悪くないかもしれない
https://github.com/lorenmt/mtan
一言でいうと
全タスク共有のネットワークに、タスクごとにAttentionモジュールを追加することで、パラメータの増加を最小限に抑えつつマルチタスク学習を可能にするMulti-Task Attention Network（MTAN）を提案。 任意の順伝播ネットワークに適用可能であり、SegNetを用いてSemantic SegmentationとDepth Segmentationタスクを対象に既存の方法と比較した結果、マルチタスク損失関数のさまざまな重み付けスキームにあまり影響されないことを示しています。
論文リンク
http://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_End-To-End_Multi-Task_Learning_With_Attention_CVPR_2019_paper.pdf
著者/所属機関
Shikun Liu, Edward Johns, Andrew J. Davison
投稿日付
2018/3/28 CVPR 2019.
概要
タスク固有の特徴レベルのAttentionの学習を可能にする、新しいマルチタスク学習アーキテクチャを提案します。 私たちの設計であるMulti-Task Attention Network（MTAN）は、グローバル特徴プールを含む単一の共有Networkと、各タスクのSoft-Attentionモジュールで構成されています。 これらのモジュールにより、グローバル特徴からタスク固有の特徴を学習できると同時に、異なるタスク間で特徴を共有できます。 このアーキテクチャは、end-to-end (端から端まで) トレーニングでき、順伝播Neural Network上に構築でき、実装が簡単で、パラメータが効率的です。 画像間予測と画像分類タスクの両方にわたって、さまざまなデータセットに対するアプローチを評価します。 私たちのアーキテクチャは、既存の方法と比較してマルチタスク学習の最先端であり、マルチタスク損失関数のさまざまな重み付けスキームにあまり敏感ではないことを示しています。
新規性・差分
タスクごとに層ではなくAttentionモジュールを追加することで、1タスクにつき10%のパラメータを増やすだけでマルチタスク学習が実現できる。また、任意の順伝播ネットワークに適用可能であることから、更なるアーキテクチャの拡張が見込まれる。
手法
結果
Image-to-Image Prediction (入力も出力も画像であるタスクのこと) の2つのタスク (Semantic Segmentation ※1, Depth Segmentation ※2) において、NYUv2 ※3 およびCityScapes ※4 データセットを用いてSegNet ※5 で実験を行った結果、従来のアーキテクチャと比べて大幅に少ないパラメータで同等以上の結果を示し、特にクラス数が増加した場合に顕著な差が見られた。
※1 画像内の全ピクセルにラベルやカテゴリを関連付けるタスク。 簡単に言うと、画像に写る複数の物体を判別させる問題のこと ※2 Depth = 深度。ここでは、画像に写る物体の「遠近」を判別させ、 各物体が遠いほど「黒」く、近いほど「白」く塗られた画像を出力させる問題のこと。 ※3 室内で撮影された画像を使用するデータセット。
※4 ドイツの50都市の画像を使用するデータセット。
※5 Semantic Segmentationにおいて広く用いられている、Encoder-Decoderネットワーク。
EncoderにはVGG16のうちの畳み込み部分の13層が、Decoderにはアップサンプリング (入力された画像サイズを大きくして出力) 用のNetworkが使われている。
自動運転などの交通シーンに応用が期待できる一方で、モバイルデバイスに組み込むには計算量の削減が必要とされている。
コメント
CIFAR-10/100ではなく、もう少し難しい問題を対象にしたデータセットを用いたマルチタスク学習が多いので、そこにフォーカスしたものを作る方法は悪くないかもしれない
実装
https://github.com/lorenmt/mtan