CRIS: CLIP-Driven Referring Image Segmentation

[tkuri]

論文概要

テキストの内容に従いセグメンテーションを行う。CLIPを直接利用すると画像レベルと画素レベルの予測との間に矛盾があるため好ましくない結果が得られてしまう。そこでCLIPモデルの知識を伝達するCRISというフレームワークを提案。従来手法に圧倒的な性能差をつけてSOTA。

https://openaccess.thecvf.com/content/CVPR2022/html/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.html

Code

未確認。