[33] Learning to Prompt for Continual Learning

Details

Replay methods 옛날 데이터들을 1% 정도 , external memory로 저장해서 Pseudo Rehearsal : 과거 샘플들을 generate https://ffighting.tistory.com/entry/iCaRL-%ED%95%B5%EC%8B%AC-%EB%A6%AC%EB%B7%B0

Regularization-based methods 파라미터가 너무 바뀌지 않도록 제약을 줌

Parameter isolation 각 class seg 별로 모델을 학습하고 그 파라미터들을 어떻게 합칠지 나중에 고민

task : class incremental learning / domain incremental learning / task-agnostic learning
problem : catastrophic forgetting.
idea : prompt learning ! 이미지가 주어졌을 때 전체 M개의 prompt pool 중에 N개의 가까운 prompt를 뽑고(Learning to Prompt, L2P), ViT 비전 토큰 앞에 prepend해서 이미지 분류.
architecture : ViT-B/16
objective : CrossEntropyLoss + diversifying prompt-selection.
baseline : CIL variants(finetuning sequentially, BiC, EWC, DER++..)
data : split CIFAR100, 5-datasets
result : SOTA. 그냥 iid finetuning보단 낮음.
contribution : 간단한 아이디어/아키텍쳐로 SOTA.