Open IsHYuhi opened 4 years ago
Naofumi Akimoto１*, Huachun Zhu2, Yanghua Jin2, Yoshimitsu Aoki１
１Keio University, 2Prefered Networks
CVPR 2020
arXiv [実装]()
この研究では, Soft Color Segmentation(似た色を含む複数のRGBAレイヤーに分解)を行う. 従来手法では処理時間が遅く, 特定の実世界のシナリオにスケーリングできないという問題があったが, この手法は従来の手法と同等の質的・量的な結果と, 30万倍の速度向上を実現した. 特に動画編集における速度の優位性を実証した．
従来手法のoptimization-based, geometric approachに代わり初めてNeural Networkベースの手法を提案.提案手法は, Palette Color Selection, Alpha Layer Estimation, Color Layer Estimationの3段階から構成される.
Palette Color Selection K-meansを使用して, 入力画像のピクセルを3次元RGB空間のK個のクラスタに分割. このクラスタの中心のRGB値をパレットカラーとして選択. 手動での選択も可能.
Alpha Layer Estimation U-Netを用いてアルファ値の単色画像であるＫ個のアルファ層を出力.(Alpha predictor) 出力を正規化する. また推論のために, 正規化に加えて様々な種類のアルファ層処理を加えることが可能. (alpha layer processing)
Color Layer Estimation パレットカラーとアルファ層だけでは, 元の画像を再構成するには不十分なので色のバリエーションを導入するために, パレットカラーから色の残差を推定する. (Residue predictor) 最終的なRGBA層は, チャンネル軸に沿ってRGB層と正規化されたアルファ層を連結. (Residue predictor networkは, 入力チャンネルと出力チャンネルの数を除いて, アルファ予測器と同じアーキテクチャ.(U-Net))
Speed Neural Networkベースの手法は、最新の手法に比べて大幅な速度向上が見られることが示された.
Reconstruction error PSNR, SSIM, Sparsity, Color Varianceを用い比較.それぞれablation studyは以下のTable.
Alation Studyにてプレーンなシングルネットワークを使用すると, 再構成の誤差が大きくなっていた. 入力としての正確なアルファ層が残差予測器の性能を向上させると考えられる. 具体的には, この研究では平滑化フィルタを適用してアルファ層からcheckerboard artifacts(格子状の模様)を除去し, 処理されたアルファ層に基づいてＲＧＢチャンネルを予測している. そこで, アルファチャンネルとRGBチャンネルを同時に予測するニューラルネットワークに平滑化フィルタ処理を組み込む方法がないか考えられる.
June 18th, 2020
INFO
author
Naofumi Akimoto１*, Huachun Zhu2, Yanghua Jin2, Yoshimitsu Aoki１
affiliation
１Keio University, 2Prefered Networks
conference or year
CVPR 2020
link
arXiv [実装]()
概要
この研究では, Soft Color Segmentation(似た色を含む複数のRGBAレイヤーに分解)を行う. 従来手法では処理時間が遅く, 特定の実世界のシナリオにスケーリングできないという問題があったが, この手法は従来の手法と同等の質的・量的な結果と, 30万倍の速度向上を実現した. 特に動画編集における速度の優位性を実証した．
提案手法
従来手法のoptimization-based, geometric approachに代わり初めてNeural Networkベースの手法を提案.提案手法は, Palette Color Selection, Alpha Layer Estimation, Color Layer Estimationの3段階から構成される.
Palette Color Selection K-meansを使用して, 入力画像のピクセルを3次元RGB空間のK個のクラスタに分割. このクラスタの中心のRGB値をパレットカラーとして選択. 手動での選択も可能.
Alpha Layer Estimation U-Netを用いてアルファ値の単色画像であるＫ個のアルファ層を出力.(Alpha predictor) 出力を正規化する. また推論のために, 正規化に加えて様々な種類のアルファ層処理を加えることが可能. (alpha layer processing)
Color Layer Estimation パレットカラーとアルファ層だけでは, 元の画像を再構成するには不十分なので色のバリエーションを導入するために, パレットカラーから色の残差を推定する. (Residue predictor) 最終的なRGBA層は, チャンネル軸に沿ってRGB層と正規化されたアルファ層を連結. (Residue predictor networkは, 入力チャンネルと出力チャンネルの数を除いて, アルファ予測器と同じアーキテクチャ.(U-Net))
検証
定性評価
定量評価
Speed Neural Networkベースの手法は、最新の手法に比べて大幅な速度向上が見られることが示された.
Reconstruction error PSNR, SSIM, Sparsity, Color Varianceを用い比較.それぞれablation studyは以下のTable.
新規性
議論，展望
Alation Studyにてプレーンなシングルネットワークを使用すると, 再構成の誤差が大きくなっていた. 入力としての正確なアルファ層が残差予測器の性能を向上させると考えられる. 具体的には, この研究では平滑化フィルタを適用してアルファ層からcheckerboard artifacts(格子状の模様)を除去し, 処理されたアルファ層に基づいてＲＧＢチャンネルを予測している. そこで, アルファチャンネルとRGBチャンネルを同時に予測するニューラルネットワークに平滑化フィルタ処理を組み込む方法がないか考えられる.
Comment
date
June 18th, 2020