Open Shinosuke7110 opened 2 years ago
概要 ブラインド画質評価（BIQA）モデルの性能は、特徴量エンジニアリングと品質回帰のエンドツーエンド最適化によって大幅に向上している。しかし、実験室でシミュレーションされた画像と実際に撮影された画像の分布が異なるため、合成歪みを持つデータベースで学習したモデルは、現実的な歪み（またはその逆）を扱うのに特に弱いままである。そこで、我々はBIQAモデルの統一と、合成歪みと現実的な歪みの両方に対する学習方法を開発した。まず、個々のIQAデータベースから画像のペアを抽出し、各ペアの最初の画像がより高品質である確率を計算する。次にこの忠実度損失を用いて、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化する。また、最適化中の不確実性推定を正則化するために、ヒンジ制約を明示的に強制する。6つのIQAデータベースに対する広範な実験により、実験室や野生の画像品質を盲目的に評価する際に、学習された方法が有望であることを示す。さらに、既存のBIQAモデルの改良に用いることで、提案する学習手法の普遍性を示す。
インターネット上の膨大な画像を処理するための非弾力的な需要に伴い、様々な画像処理システムの出力画像の知覚品質を監視、維持、向上するための計算機画像品質モデルの開発が最も重要である[1]。歪んだ画像と純粋な品質の参照画像を比較する完全参照領域では、モデルの予測と人間の画質評価との間に高い一貫性が達成されています[2]。そのような情報が利用できない場合、歪んだ画像のみに依存する無参照またはブラインド画質評価（BIQA）は、より実用的でありながら、より困難なものになります。最近、深層学習ベースのBIQAモデルは、特徴表現と品質予測の共同最適化により、印象的な一連の成功を経験しています。しかし、これらのモデルは、歪みとシナリオを跨ぐ汎化には特に弱いままです[3]。すなわち，実験室でシミュレートされた画像に対して学習させたモデルでは，実際に撮影された画像に対応することができない．同様に、現実的な歪み（センサーノイズや露出不良など）に対して最適化されたモデルは、合成歪み（ガウスブラーやJPEG圧縮など）にはうまく機能しません。 合成歪みと現実的な歪みの分布のずれに適応する方法として、複数のIQAデータベースを直接組み合わせて学習させる方法が一見簡単そうに見えます。しかし、既存のデータベースは、主観的な検査方法の違いにより、知覚的な尺度が異なっている。例えば、CSIQデータベース[5]は、よく管理された実験室環境での複数刺激絶対カテゴリ評価を用いており、差分平均意見スコア（DMOSs）は[0, 1]の範囲にあるが、LIVEチャレンジデータベースは、制約のないクラウドソーシングのプラットフォームで単一刺激連続品質評価を行い、MOSsは[0, 100]の範囲である。つまり、知覚的な尺度の再調整には、各データベースからサンプリングした画像に対する個別の主観実験が必要である[4], [5]ということである。この点をより明確にするために、6つのデータベース[4]〜[9]のそれぞれの主観スコアを[0, 100]に線形に再スケーリングし、値が大きい方が高品質であることを示すようにした。図1は、ほぼ同じMOSを持つサンプル画像である。このように、両者の知覚品質は大きく異なっているように見える。統一的なBIQAの設計手法としてより有望なのは、歪んでいない自然な画像を基準分布とする事前確率モデルを構築し、それに対して歪んだ画像のテスト分布を比較することである。受賞したBIQAモデルNIQE [10]はこのアイデアの具体例であるが、少数の合成歪みを扱えるに過ぎない。 BIQAモデルには、(D)MOSを用いた学習に加えて、人間の意見の分散という別のタイプの監視信号がある。これはBIQAにとって有益であると考えられるが、これまで十分に検討されてこなかったものである。一般に、人間は品質範囲の両端にある画像に対してより一貫した評価を与え（すなわち、分散が小さく）、一方、品質範囲の中間にある画像に対してはあまり確実な評価を与えない傾向がある（図3参照）。したがって、画質モデルも同様の挙動を示すと考えるのが妥当である。さらに、これまでのBIQA手法[11]では、品質予測の不確実性をモデル化することで、その後の応用につなげるという利点があった。本論文では、合成歪みと現実的な歪みの両方に対して、不確実性を考慮した統一的なBIQAモデルを開発するための一歩を踏み出す。我々の貢献は以下の通りである。
微分可能なBIQAモデルを複数のIQAデータベース（異なる歪みシナリオ）に対して同時に学習することができる学習戦略。具体的には、まず、各データベース内の画像のペアをサンプリングして結合する。各ペアについて、人間が評価した（D）MOSと分散を利用して、一方の画像が監視信号として知覚的品質が優れている確率値を計算する。この結果得られた学習セットは、知覚的なスケール再調整のための追加の主観的テストを省略することができる。次に、BIQAの計算モデルの学習を推進するために、忠実度損失[12]を用いたペアワイズ学習-順位付けアルゴリズムを使用する。
人間の意見の分散を指針として、学習された不確実性にヒンジ制約を課す正則化器である。これにより、BIQAモデルが品質評価タスクを実行する際に、人間の不確実な側面を模倣することができる。
ディープニューラルネットワークに基づくUNIQUE（Unified No Reference Image Quality and Uncertainty Evaluator）は、合成歪みと現実的な歪みの両方をカバーする6つのIQAデータベース（表I参照）において、最新のBIQAモデルに対して良好な性能を発揮する。また、データベース横断的な設定や、グループ最大微分法（gMAD）競争[13]を通じて、その一般性を検証しています。
https://github.com/zwx8981/UNIQUE
Shinosuke7110
commented
2 years ago
Authur 筆者
Motivation なぜやろうとしたか
Method 手法
Insight 結果
Contribution 貢献の要約
Keyword 新しいキーワードなど
Unknown 何が今だ不明か
Reflection 考察
Reference 関連研究
概要 ブラインド画質評価（BIQA）モデルの性能は、特徴量エンジニアリングと品質回帰のエンドツーエンド最適化によって大幅に向上している。しかし、実験室でシミュレーションされた画像と実際に撮影された画像の分布が異なるため、合成歪みを持つデータベースで学習したモデルは、現実的な歪み（またはその逆）を扱うのに特に弱いままである。そこで、我々はBIQAモデルの統一と、合成歪みと現実的な歪みの両方に対する学習方法を開発した。まず、個々のIQAデータベースから画像のペアを抽出し、各ペアの最初の画像がより高品質である確率を計算する。次にこの忠実度損失を用いて、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化する。また、最適化中の不確実性推定を正則化するために、ヒンジ制約を明示的に強制する。6つのIQAデータベースに対する広範な実験により、実験室や野生の画像品質を盲目的に評価する際に、学習された方法が有望であることを示す。さらに、既存のBIQAモデルの改良に用いることで、提案する学習手法の普遍性を示す。
インターネット上の膨大な画像を処理するための非弾力的な需要に伴い、様々な画像処理システムの出力画像の知覚品質を監視、維持、向上するための計算機画像品質モデルの開発が最も重要である[1]。歪んだ画像と純粋な品質の参照画像を比較する完全参照領域では、モデルの予測と人間の画質評価との間に高い一貫性が達成されています[2]。そのような情報が利用できない場合、歪んだ画像のみに依存する無参照またはブラインド画質評価（BIQA）は、より実用的でありながら、より困難なものになります。最近、深層学習ベースのBIQAモデルは、特徴表現と品質予測の共同最適化により、印象的な一連の成功を経験しています。しかし、これらのモデルは、歪みとシナリオを跨ぐ汎化には特に弱いままです[3]。すなわち，実験室でシミュレートされた画像に対して学習させたモデルでは，実際に撮影された画像に対応することができない．同様に、現実的な歪み（センサーノイズや露出不良など）に対して最適化されたモデルは、合成歪み（ガウスブラーやJPEG圧縮など）にはうまく機能しません。 合成歪みと現実的な歪みの分布のずれに適応する方法として、複数のIQAデータベースを直接組み合わせて学習させる方法が一見簡単そうに見えます。しかし、既存のデータベースは、主観的な検査方法の違いにより、知覚的な尺度が異なっている。例えば、CSIQデータベース[5]は、よく管理された実験室環境での複数刺激絶対カテゴリ評価を用いており、差分平均意見スコア（DMOSs）は[0, 1]の範囲にあるが、LIVEチャレンジデータベースは、制約のないクラウドソーシングのプラットフォームで単一刺激連続品質評価を行い、MOSsは[0, 100]の範囲である。つまり、知覚的な尺度の再調整には、各データベースからサンプリングした画像に対する個別の主観実験が必要である[4], [5]ということである。この点をより明確にするために、6つのデータベース[4]〜[9]のそれぞれの主観スコアを[0, 100]に線形に再スケーリングし、値が大きい方が高品質であることを示すようにした。図1は、ほぼ同じMOSを持つサンプル画像である。このように、両者の知覚品質は大きく異なっているように見える。統一的なBIQAの設計手法としてより有望なのは、歪んでいない自然な画像を基準分布とする事前確率モデルを構築し、それに対して歪んだ画像のテスト分布を比較することである。受賞したBIQAモデルNIQE [10]はこのアイデアの具体例であるが、少数の合成歪みを扱えるに過ぎない。 BIQAモデルには、(D)MOSを用いた学習に加えて、人間の意見の分散という別のタイプの監視信号がある。これはBIQAにとって有益であると考えられるが、これまで十分に検討されてこなかったものである。一般に、人間は品質範囲の両端にある画像に対してより一貫した評価を与え（すなわち、分散が小さく）、一方、品質範囲の中間にある画像に対してはあまり確実な評価を与えない傾向がある（図3参照）。したがって、画質モデルも同様の挙動を示すと考えるのが妥当である。さらに、これまでのBIQA手法[11]では、品質予測の不確実性をモデル化することで、その後の応用につなげるという利点があった。本論文では、合成歪みと現実的な歪みの両方に対して、不確実性を考慮した統一的なBIQAモデルを開発するための一歩を踏み出す。我々の貢献は以下の通りである。
微分可能なBIQAモデルを複数のIQAデータベース（異なる歪みシナリオ）に対して同時に学習することができる学習戦略。具体的には、まず、各データベース内の画像のペアをサンプリングして結合する。各ペアについて、人間が評価した（D）MOSと分散を利用して、一方の画像が監視信号として知覚的品質が優れている確率値を計算する。この結果得られた学習セットは、知覚的なスケール再調整のための追加の主観的テストを省略することができる。次に、BIQAの計算モデルの学習を推進するために、忠実度損失[12]を用いたペアワイズ学習-順位付けアルゴリズムを使用する。
人間の意見の分散を指針として、学習された不確実性にヒンジ制約を課す正則化器である。これにより、BIQAモデルが品質評価タスクを実行する際に、人間の不確実な側面を模倣することができる。
ディープニューラルネットワークに基づくUNIQUE（Unified No Reference Image Quality and Uncertainty Evaluator）は、合成歪みと現実的な歪みの両方をカバーする6つのIQAデータベース（表I参照）において、最新のBIQAモデルに対して良好な性能を発揮する。また、データベース横断的な設定や、グループ最大微分法（gMAD）競争[13]を通じて、その一般性を検証しています。