Grounded SAM

[zc12345]

全路径为: DETR -> DINO -> GLIP -> Grounding DINO -> Grounding SAM。 其中DINO指的是一种基于DETR的目标检测模型

[zc12345]

DETR

• 2005.12872
• blog
• detr
• Facebook AI

TL;DR

• 第一个将Transformer用到object detection和panoptic segmentation任务上
• method
  • 将目标检测问题视为集合预测问题
  • 用transformer替代Faster R-CNN中的后处理阶段(Region Proposal+RoIAlign+NMS+cls/bbox)
  • 输入position embedding+image embedding，输出 $N$ 个bbox预测( $N$ 和object queries个数一致)

[zc12345]

DINO

• 2203.03605
• DINO
• IDEA Research(粤港澳大湾区数字经济研究院), ICLR2023

TL;DR

• 针对的问题：DETR收敛速度非常慢
• 解决方法
  • Deformable-DETR: 认为是训练初期注意力初始化不够好，所以提出可变形注意力，加快收敛
  • DAB-DETR: 认为是由于query初始化不够好，改进了position encoding和编码的anchor
  • DN-DETR: 认为是DETR匈牙利算法匹配不稳定，于是用noised GT bbox学习更好的匹配offset
  • DINO: 集大成者，在DN-DETR的基础上针对正负样本都加noise

[zc12345]

GLIP

• 2112.03857
• GLIP

TL;DR

• visual grounding任务指的是输入一段caption描述
  • phrase localization: 输出caption中提出的全部物体的bbox
  • referring expression comprehension: 定位描述中提到的特定物体(比如左边的狗)
• GLIP借鉴CLIP的对比学习训练方式，将object detection和phrase grounding统一到一个框架

[zc12345]

Grounding DINO

• 2303.05499
• GroundingDINO
• Title: Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection
• IDEA Research

TL;DR

• 认为GLIP对text feature和image feature的融合不够彻底，于是在neck/query/head上都加入feature fusion

[zc12345]

Grounding SAM

• Grounded-Segment-Anything
• 不是paper，是一个project/repo
• 用Grounding DINO/GLIP+SAM+Stable Diffusion实现text prompt驱动的图片编辑