🍅 짭짤이 논문 모아놓기 (CLIP)

[long8v]

거의 scheming만 했던 논문 모아놓는 곳. notion에 정리중이었으나 link를 걸기가 어려워서 옮김.

[long8v]

SIEVE: MULTIMODAL DATASET PRUNING USING IMAGE CAPTIONING MODELS

https://arxiv.org/pdf/2310.02110.pdf meta 논문 캡션 모델 - Sentence Similarity(all-MiniLM-L6)으로 필터링하는 접근

[long8v]

Mutual Information Divergence: A Unified Metric for Multimodal Generative Models

CLIP에 gt(=reference) image, caption 넣었을 때의 score의 분포와 evaluating image, caption 넣었을 때의 score 분포간의 pointwise mutual infromation divergence로 score를 매겼다는 내용~ 솔직히 이해는 못함

[long8v]

CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment

CLIP에서 QA 형태로 주면 거의 못하고 이걸 rewrite 시켜서 caption 형태로 만들고 가장 유사도 높은걸로 하니까 잘 풀렸다는 논문~

[long8v]

Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding

별거 없었음..! 걍 mask된 곳에다가 possible word 넣고 가장 높은걸로 예측하는 형식

[long8v]

Parrot Captions Teach CLIP to Spot Text

https://arxiv.org/pdf/2312.14232.pdf

laion-2b에서 clip score가 가장 높은 text-image pair를 찍어봤는데 다 글자가 있는 그림이었다고 하네용 글자가 들어가는 이미지 - 텍스트 페어가 그렇지 않은 것들보다 clip score가 높은 경향성이 있고, 그래서 clip score로 필터링 할 때 이런 bias를 유의해야한다~는 내용입니당

[long8v]

COYO

https://github.com/kakaobrain/coyo-dataset

얘네는 오히려 논문을 안냈었구낭..

• Included all image formats that [Pillow library](https://pillow.readthedocs.io/en/stable/handbook/image-file-formats.html) can decode. (JPEG, WEBP, PNG, BMP, ...)
• Removed images less than 5KB image size.
• Removed images with an aspect ratio greater than 3.0.
• Removed images with min(width, height) < 200.
• Removed images with a score of [OpenNSFW2](https://github.com/bhky/opennsfw2) or [GantMan/NSFW](https://github.com/GantMan/nsfw_model) higher than 0.5.
• Removed all duplicate images based on the image [pHash](http://www.phash.org/) value from external public datasets.
  • ImageNet-1K/21K, Flickr-30K, MS-COCO, CC-3M, CC-12M
• Collected only English text using [cld3](https://github.com/google/cld3).
• Replaced consecutive whitespace characters with a single whitespace and removed the whitespace before and after the sentence.
  • e.g. "\n \n Load image into Gallery viewer, valentine's day roses\n \n" → "Load image into Gallery viewer, valentine's day roses"
• Removed texts with a length of 5 or less.
• Removed texts that do not have a noun form.
• Removed texts with less than 3 words or more than 256 words and texts over 1000 in length.
• Removed texts appearing more than 10 times.
  • e.g. “thumbnail for”, “image for”, “picture of”
• Removed texts containing NSFW words collected from [profanity_filter](https://github.com/rominf/profanity-filter/blob/master/profanity_filter/data/en_profane_words.txt), [better_profanity](https://github.com/snguyenthanh/better_profanity/blob/master/better_profanity/profanity_wordlist.txt), and [google_twunter_lol](https://gist.github.com/ryanlewis/a37739d710ccdb4b406d).
• Removed duplicated samples based on (image_phash, text).
  • Different text may exist for the same image URL. 특이하게 CLIP score로 제거한거 없네

multi-label 분류 데이터셋도 냈는데 ImageNet-21k로 학습한 모델로 만든 machine labeled이긴 하나 imagenet 성능이 JFT-300M이랑 비슷하게 나온다

[long8v]

DEMYSTIFYING CLIP DATA

• https://arxiv.org/pdf/2309.16671.pdf
• clip 원래 논문에서 사용한 데이터는 WIT라는 private data인데요, 이를 public data로 재현하고자 하는 시도들이 있었는데 laion-400m이 WIT보다 성능이 낮게 나왔습니다
• 이 논문은 CLIP 원래 논문에서 몇줄 적어놓은 데이터 정제 방식을 최대한 추적해서 정제를 했고 성능을 개선했습니당
• WIT에서는 다양한 쿼리를 날려서 20,000 (image, text) pairs per query가 되도록 상한을 두었는데 이것이 데이터 분포를 uniform하게 만들었고 이게 WIT가 성능이 가장 잘 나온 것이라고 분석을 했습니다.
• 반면에 LAION-400M이 사용한 filtering은 단순 휴리스틱(글자 개수, 이미지 사이즈 기준, ...) + CLIP score이었는데 clip score를 쓰는게 또 bias가 있는듯합니다
• datacomp도 bias가 있는 것 같다면서 cc에서 데이터도 새로 수집했습니다
• 새로 MetaCLIP 이라는 데이터를 제안했고 소스코드랑 모델 weight도 공개했네요
• https://github.com/facebookresearch/MetaCLIP

[long8v]

FILIP

• 아키텍쳐는 간단하다. image / text encoder를 통과한걸 pooling 하는 대신에 각 seq len이 살아있는 시점에서 similiarity를 구한다. 그리고 이걸 max연산을 먼저 해서 각 텍스트 토큰에서 가장 가까운 이미지 토큰 살리고 나머지는 0으로 둔 뒤 이를 평균을 취해 스칼라값을 뽑고 이를 pooled feature의 유사도 대신에 쓰는 것

→ early fusion이라고 얘기하고 이를 통해 fine-grained 해진다를 얘기

• 구린 점
  • 데이터는 새로 모음
  • optimizer LAMB 사용
  • zero-shot template을 특이한걸 사용

이때 발현되는 능력은 각 토큰에 대해 similiarity가 아래와 같이 이해하기 쉬운 방식으로 된다는 점이다. → 이게 뭐가 좋은지 잘 모르겠는 부분.. ⇒ explainability ?!

[long8v]

Improving CLIP Training with Language Rewrites

https://arxiv.org/abs/2305.20088

진짜 대충 읽어봤는데 CC3M 같은 caption만 주고 다시 쓰라고 하는듯? 더 풍부한 표현과 다양성이 늘어난다고?

아예 갈아 끼운건 아니고 여러개 만들고 그때마다 sampling 해서 사용했다고 함

성능이 꽤 늘어나네..

• 최소한의 quality는 보장되어야하는듯

[long8v]

ALIGN

https://arxiv.org/pdf/2102.05918.pdf 별다른 Trick 없이 CLIP loss로 training corpus 많이 늘리면 잘 된다

[long8v]

Improving fine-grained understanding in image-text pre-training

fine-grained clip 류

FILIP과 다른 점은 positive image-text pair 내부에서 threshold로 similarity를 자른 뒤에 그걸로 weight를 구하고

얘를 vision feature랑 가중합을 해서 langague-grouped vision embedding을 구한 뒤에 이에 대해 Contrastive loss를 걸어주는!

많이 다름! COCO retrieval이 많이 오름

OV-OD (Owl-ViT의 백본으로 사용해서 잼)했을 때 올랐다고 함

다만 데이터를 엄청 많이 씀 ㅎㅎ

[long8v]

스레드가 너무 길어지네.. CLIP 연구는 참 핫하구나..

Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations (a.k.a. ConCLIP)

CLIP이 부정표현을 못해서 데이터를 추가해줘서 넣어줬고 Finegrained contrastive도 넣어줬다고 함

[long8v]

WHEN AND WHY VISION-LANGUAGE MODELS BEHAVE LIKE BAGS-OF-WORDS, AND WHAT TO DO ABOUT IT? (a.k.a NegCLIP)

CLIP의 contrastive loss의 성격 상 bag-of-words 식으로 학습되었다.

a.k.a ARO 제안 https://github.com/mertyg/vision-language-models-are-bows hard negative로 학습된 NegCLIP은 relation 등 섞은 것들을 훨씬 잘한다고 함.

[long8v]

Exposing and Mitigating Spurious Correlations for Cross-Modal Retrieval

CLIP spurious clue

[long8v]

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data

CatLIP. imagenet에 들어있는 class와 training data에 들어있는 class의 빈도수를 분석한 것 같길래 봄

누가 요약해놨네 ㅋㅋ https://devocean.sk.com/blog/techBoardDetail.do?ID=165861&boardType=techBlog 걍 텍스트 인코더 없는 CLIP으로 분류기 만들기 논문임

[long8v]

MoDE: CLIP Data Experts via Clustering

CLIP + meta learning 스러운

[long8v]

When are Lemons Purple? The Concept Association Bias of Vision-Language Models

Object가 여러 개 있는 image에 대해 A lemon is [MASK]로 하면 yellow가 아니라 옆에 있는 Eggplant의 색을 뽑는다

이 이유는 그럴듯한데 ㅋㅋ lemon에는 이미 노란색이 있으므로 가장 가깝게 만들기 위해서는 가지의 색인 보라색을 넣는게 가장 좋은 것 !

이런 데이터셋이 있넹 Natural-Color Dataset (NCD)