Open Shinosuke7110 opened 1 year ago
要旨 画像データの爆発的な増加により、新たな視覚的アプリケーションのための画像処理およびコンピュータビジョン手法が急速に発展しているが、一方で処理画像に新たな歪みが生じている。このことは、サブポピュレーションシフトに適応することが弱い既存のブラインド画質評価（BIQA）モデルに大きな課題を投げかけている。最近の研究では、人間が評価したすべてのIQAデータセットの組み合わせでBIQA手法をトレーニングすることを提案しています。しかし、この種のアプローチは、多数のデータセットに対してスケーラブルではなく、新しく作成されたデータセットも取り込むことが面倒である。本論文では、BIQAのための継続的学習を定式化する。そこでは、モデルは、以前に見たデータから何を学んだかを基に、IQAデータセットのストリームから継続的に学習する。我々はまず、予測精度、可塑性、安定性をそれぞれ定量化する3つの基準を用いて、継続的設定における5つの望みを明らかにする。次に、BIQAのためのシンプルかつ効果的な継続的学習法を提案する。具体的には、共有バックボーンネットワークに基づき、新しいデータセットに対して予測ヘッドを追加し、すべての予測ヘッドが新しいデータとともに進化する一方で、古いデータの壊滅的忘却に耐えられるように正則化を実施する。我々は、すべてのヘッドからの予測の重み付き合計によって、全体の品質スコアを計算する。広範な実験により、BIQAの標準的な学習手法と比較して、経験値再生の有無に関わらず、提案する継続的学習手法が有望であることを実証する。 コードはhttps://github.com/zwx8981/BIQA CLで一般公開した。
人間の画質知覚を自動的に定量化することを目的としたブラインド画質評価（BIQA）[1]は、長年にわたって人間が評価した画質データセットが作成されてきたこともあり、印象的な一連の成功を経験してきた。例えば、LIVEデータセット[2]は、歪み特化型[3]から汎用BIQA[4][5]への移行を象徴するものである。CSIQデータセット[6]は、データセット間の比較を可能にします。TID2013データセット[7]とその後継のKADID-10K[8]は、BIQA手法が異なる歪みのタイプに一般化することの難しさを露呈している。Waterloo Exploration Database [9]は、自然シーンの多様なコンテンツのバリエーションに対するモデルの頑健性をテストします。また、LIVEチャレンジデータベース[10]では、合成から実写への汎化が試され、さらにKonIQ-10K [11]とSPAQ [12] データセットで評価されている。BIQAの入力領域Xがすべての可能な画像の空間であると仮定すると、各IQAデータセットは必然的にXの小さな部分集団に相当します（図1参照）。つまり、BIQAモデルを実世界に展開した場合、必ず部分集団のずれに遭遇します。したがって、サブポピュレーションシフトに頑健なBIQAモデルを構築することは、非常に大きな価値がある。 BIQAに関するこれまでの研究[4], [5], [13], [14]では、主に部分集団内での性能向上に焦点が当てられており、部分集団のシフトに対するモデルの頑健性をテストし改善するための取り組みはほとんど行われていない。Mittalら[15]は、歪みのない自然な画像から抽出したパッチと、テスト用の「歪んだ」画像から抽出したパッチの間の確率的距離を測定することで、ユニバーサルBIQAを野心的に目指した。その結果、NIQEは限られた歪みに対してのみ機能することがわかった。Zhangら[16]は、より表現力の高い統計的特徴を追加することでNIQEを修正したが、改善はごくわずかであった。 サブポピュレーションシフトへの素直な適応は、新しいデータでモデルパラメータを微調整することであり、これはディープニューラルネットワーク（DNN）に基づくBIQA手法で広く実践されている。しかし、新しい学習は古いデータに対する性能を破壊する可能性があり、これは破局的忘却と呼ばれる現象である[17]。最近、Zhangら[18], [19]は、catastrophic forgetingに対してBIQAモデルを学習するためのデータセット組み合わせのトリックを提案した。サブポピュレーションシフトに対する頑健性は実証されているものの、この種の手法は3つの限界に悩まされる可能性がある。第一に、計算とストレージの制約から、多数のデータセットを扱うにはスケーラブルでない。第二に、ジョイントファインチューニングのために全てのデータセットからのトレーニングサンプルが必要であるため、新しいデータセットに対応することが不便である。第三に、データセットによっては一定期間が経過するとアクセスできなくなる場合があり（例えば、プライバシー問題[20]など）、素朴なデータセット結合ができない。
本論文では、継続的な学習環境におけるBIQAモデルのサブポピュレーションシフトに対する頑健性を評価し、改善するための一歩を踏み出す。基本的な考え方は、BIQAモデルはIQAデータセットから継続的に学習し、現在のデータセットから新しい知識を統合する（すなわち、可塑性）一方で、以前に見たデータセットから獲得した知識の忘却を防ぐ（すなわち、安定性）、ということである。BIQAのための継続的な学習を実現可能で、自明でなく、実用的なものにするために、我々は5つの望ましい条件を特定する：1）共通の知覚スケール、2）部分集団シフトに頑健、3）以前のデータへの直接的なアクセスの制限、4）テスト時のオラクルなし、5）メモリのフットプリントが限定される。さらに、サブポピュレーションシフトに頑健なBIQAのためのシンプルかつ効果的な継続的学習法を説明する。具体的には、共有され継続的に更新されるバックボーンネットワークに基づき、新しい知識を学習するための可塑性を促進する方法として、新しいデータセットごとに品質予測ヘッドを追加する。以前の知識の統合は、以前のヘッドの予測を安定化させることで実施される。現在の学習データセットを特徴空間のK-meansクラスタリングで要約し、学習したセントロイドを用いて最終的な品質予測の重みを計算する。
https://github.com/zwx8981/BIQA_CL https://arxiv.org/abs/2102.09717
Shinosuke7110
commented
1 year ago Shinosuke7110
commented
1 year ago
Authur 筆者
Motivation なぜやろうとしたか
Method 手法
Insight 結果
Contribution 貢献の要約
Keyword 新しいキーワードなど
Unknown 何が今だ不明か
Reflection 考察
Reference 関連研究
要旨 画像データの爆発的な増加により、新たな視覚的アプリケーションのための画像処理およびコンピュータビジョン手法が急速に発展しているが、一方で処理画像に新たな歪みが生じている。このことは、サブポピュレーションシフトに適応することが弱い既存のブラインド画質評価（BIQA）モデルに大きな課題を投げかけている。最近の研究では、人間が評価したすべてのIQAデータセットの組み合わせでBIQA手法をトレーニングすることを提案しています。しかし、この種のアプローチは、多数のデータセットに対してスケーラブルではなく、新しく作成されたデータセットも取り込むことが面倒である。本論文では、BIQAのための継続的学習を定式化する。そこでは、モデルは、以前に見たデータから何を学んだかを基に、IQAデータセットのストリームから継続的に学習する。我々はまず、予測精度、可塑性、安定性をそれぞれ定量化する3つの基準を用いて、継続的設定における5つの望みを明らかにする。次に、BIQAのためのシンプルかつ効果的な継続的学習法を提案する。具体的には、共有バックボーンネットワークに基づき、新しいデータセットに対して予測ヘッドを追加し、すべての予測ヘッドが新しいデータとともに進化する一方で、古いデータの壊滅的忘却に耐えられるように正則化を実施する。我々は、すべてのヘッドからの予測の重み付き合計によって、全体の品質スコアを計算する。広範な実験により、BIQAの標準的な学習手法と比較して、経験値再生の有無に関わらず、提案する継続的学習手法が有望であることを実証する。 コードはhttps://github.com/zwx8981/BIQA CLで一般公開した。
人間の画質知覚を自動的に定量化することを目的としたブラインド画質評価（BIQA）[1]は、長年にわたって人間が評価した画質データセットが作成されてきたこともあり、印象的な一連の成功を経験してきた。例えば、LIVEデータセット[2]は、歪み特化型[3]から汎用BIQA[4][5]への移行を象徴するものである。CSIQデータセット[6]は、データセット間の比較を可能にします。TID2013データセット[7]とその後継のKADID-10K[8]は、BIQA手法が異なる歪みのタイプに一般化することの難しさを露呈している。Waterloo Exploration Database [9]は、自然シーンの多様なコンテンツのバリエーションに対するモデルの頑健性をテストします。また、LIVEチャレンジデータベース[10]では、合成から実写への汎化が試され、さらにKonIQ-10K [11]とSPAQ [12] データセットで評価されている。BIQAの入力領域Xがすべての可能な画像の空間であると仮定すると、各IQAデータセットは必然的にXの小さな部分集団に相当します（図1参照）。つまり、BIQAモデルを実世界に展開した場合、必ず部分集団のずれに遭遇します。したがって、サブポピュレーションシフトに頑健なBIQAモデルを構築することは、非常に大きな価値がある。 BIQAに関するこれまでの研究[4], [5], [13], [14]では、主に部分集団内での性能向上に焦点が当てられており、部分集団のシフトに対するモデルの頑健性をテストし改善するための取り組みはほとんど行われていない。Mittalら[15]は、歪みのない自然な画像から抽出したパッチと、テスト用の「歪んだ」画像から抽出したパッチの間の確率的距離を測定することで、ユニバーサルBIQAを野心的に目指した。その結果、NIQEは限られた歪みに対してのみ機能することがわかった。Zhangら[16]は、より表現力の高い統計的特徴を追加することでNIQEを修正したが、改善はごくわずかであった。 サブポピュレーションシフトへの素直な適応は、新しいデータでモデルパラメータを微調整することであり、これはディープニューラルネットワーク（DNN）に基づくBIQA手法で広く実践されている。しかし、新しい学習は古いデータに対する性能を破壊する可能性があり、これは破局的忘却と呼ばれる現象である[17]。最近、Zhangら[18], [19]は、catastrophic forgetingに対してBIQAモデルを学習するためのデータセット組み合わせのトリックを提案した。サブポピュレーションシフトに対する頑健性は実証されているものの、この種の手法は3つの限界に悩まされる可能性がある。第一に、計算とストレージの制約から、多数のデータセットを扱うにはスケーラブルでない。第二に、ジョイントファインチューニングのために全てのデータセットからのトレーニングサンプルが必要であるため、新しいデータセットに対応することが不便である。第三に、データセットによっては一定期間が経過するとアクセスできなくなる場合があり（例えば、プライバシー問題[20]など）、素朴なデータセット結合ができない。
本論文では、継続的な学習環境におけるBIQAモデルのサブポピュレーションシフトに対する頑健性を評価し、改善するための一歩を踏み出す。基本的な考え方は、BIQAモデルはIQAデータセットから継続的に学習し、現在のデータセットから新しい知識を統合する（すなわち、可塑性）一方で、以前に見たデータセットから獲得した知識の忘却を防ぐ（すなわち、安定性）、ということである。BIQAのための継続的な学習を実現可能で、自明でなく、実用的なものにするために、我々は5つの望ましい条件を特定する：1）共通の知覚スケール、2）部分集団シフトに頑健、3）以前のデータへの直接的なアクセスの制限、4）テスト時のオラクルなし、5）メモリのフットプリントが限定される。さらに、サブポピュレーションシフトに頑健なBIQAのためのシンプルかつ効果的な継続的学習法を説明する。具体的には、共有され継続的に更新されるバックボーンネットワークに基づき、新しい知識を学習するための可塑性を促進する方法として、新しいデータセットごとに品質予測ヘッドを追加する。以前の知識の統合は、以前のヘッドの予測を安定化させることで実施される。現在の学習データセットを特徴空間のK-meansクラスタリングで要約し、学習したセントロイドを用いて最終的な品質予測の重みを計算する。