EVA: Exploring the Limits of Masked Visual Representation Learning at Scale

[mei28]

---

id: "1679378899-eva-exploring-the-limits-of-masked-visual-representation-learning-at-scale" aliases:

• "EVA: Exploring the Limits of Masked Visual Representation Learning at Scale" tags:
• "TSUNDOKU"

• "moonshot"

EVA: Exploring the Limits of Masked Visual Representation Learning at Scale

一言で言うと

一般公開されているデータを用いたViTモデルを提案する．事前テキスト学習によって，1Billionほどのパラメータまでスケールアップが可能．CLIPを事前学習モデルとして利用すると，学習が安定した．全てのコードとモデルを公開している

論文リンク

https://arxiv.org/pdf/2211.07636v2.pdf https://github.com/baaivision/EVA

著者/所属機関

-

投稿日付(yyyy/MM/dd)

CVPR23

先行研究と比べてどこがすごい？

技術・手法のキモはどこ？

どうやって有効だと検証した?

コメント

次はなに読む？

---

moonshot用

論文中

• データセットとしてLVISv1.0, COCOデータセットを利用している．

• Pretrain modelとして，CLIPを使っている．

• EVAのモデルとしてはViTモデルに習っている． -> モデルのアーキテクチャはTable3に記載している．

• pre trainingデータとしてCC12M,CC3Mの画像を用いており，テキストは用いていない．

  • COCO, ADE20Kの訓練データ，ImageNet-21K, Object365の画像データも使った

• GPUはNVIDIA A100-SXM4-40GBを利用している．

• Pre-trainingはBEiTに基づいて，PyTorchを使っている

• DeepSpeed library with ZeRO stage-1 optimizerを使って，メモリの省エネ化をしている

• fp16 format with dyanmic loss scaling をpre-training中に使っている(半精度浮動小数点)

  • これだと16 x NVIDIA24GB(32GB)のGPUで動く

• 評価に使うデータセットとではImageNet-1Kの検証データを用いる.

• 対抗手法

  • fine-tuning on ImageNet21K for 60epochs 224x224

• 提案手法

  • ImageNet-1K for 10 epochs
  • multi-head attention pooling を使わない

• 画像に用いる解像度などによって，評価指標が変わる

• Image classification以外でも，さまざまなタスクでやっている

• この論文では同じように結構詳しく書かれている．

• fine-tuningで用いた時の設定もいろいろ書いている． -> Appdinx参照

Github中