chaos-moon / paper_daily

One paper a day, keep laziness away.

MIT License

6 stars 3 forks source link

Grounded SAM #29

Open zc12345 opened 11 months ago

zc12345 commented 11 months ago

全路径为: DETR -> DINO -> GLIP -> Grounding DINO -> Grounding SAM。其中DINO指的是一种基于DETR的目标检测模型

zc12345 commented 11 months ago

DETR

2005.12872
blog
detr
Facebook AI

TL;DR

第一个将Transformer用到object detection和panoptic segmentation任务上
method
- 将目标检测问题视为集合预测问题
- 用transformer替代Faster R-CNN中的后处理阶段(Region Proposal+RoIAlign+NMS+cls/bbox)
- 输入position embedding+image embedding，输出 $N$ 个bbox预测( $N$ 和object queries个数一致)

zc12345 commented 11 months ago

DINO

2203.03605
DINO
IDEA Research(粤港澳大湾区数字经济研究院), ICLR2023

TL;DR

针对的问题：DETR收敛速度非常慢
解决方法
- Deformable-DETR: 认为是训练初期注意力初始化不够好，所以提出可变形注意力，加快收敛
- DAB-DETR: 认为是由于query初始化不够好，改进了position encoding和编码的anchor
- DN-DETR: 认为是DETR匈牙利算法匹配不稳定，于是用noised GT bbox学习更好的匹配offset
- DINO: 集大成者，在DN-DETR的基础上针对正负样本都加noise

zc12345 commented 11 months ago

GLIP

TL;DR

visual grounding任务指的是输入一段caption描述
- phrase localization: 输出caption中提出的全部物体的bbox
- referring expression comprehension: 定位描述中提到的特定物体(比如左边的狗)
GLIP借鉴CLIP的对比学习训练方式，将object detection和phrase grounding统一到一个框架

zc12345 commented 11 months ago

Grounding DINO

2303.05499
GroundingDINO
Title: Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection
IDEA Research

TL;DR

认为GLIP对text feature和image feature的融合不够彻底，于是在neck/query/head上都加入feature fusion

zc12345 commented 11 months ago

Grounding SAM

Grounded-Segment-Anything
不是paper，是一个project/repo
用Grounding DINO/GLIP+SAM+Stable Diffusion实现text prompt驱动的图片编辑