[FEAT] Knowledge Distillation (KD)

[boyamie]

Background

• 큰 모델(teacher)에서 작은 모델(student)로 지식을 전이하여 모델 경량화나 추론 속도 개선을 이루면서도 성능을 유지하거나 향상시키는 기법
• KD는 큰 모델의 성능을 작은 모델에 전이하기 때문에, student 모델이 경량화되어 더 빠른 추론 속도를 제공하면서도 성능 저하를 최소화
• Object Detection에서, Feature-based KD나 Attention Transfer는 탐지 성능을 극대화할 수 있는 방법으로, student 모델이 더 중요한 시각적 정보를 학습하게 할 수 있음
• Diffusion Denoising Implicit Models(DDIM)을 사용하여 이미지 내 다양한 객체를 생성
• 새롭게 생성된 객체가 원본 이미지의 배경과 자연스럽게 결합되도록 하여, 현실적이고 이질감 없는 증강 이미지를 생성

Todo

• [ ] Category Affinity Matrix
• [ ] Surrounding Region Alignment
• [ ] Instance-Level Filtering
• [ ] Config 파일 수정
• [ ] Stable Diffusion 적용

See also

• https://arxiv.org/abs/2408.02891
• Dataset Pipeline 수정: 카테고리 친화도 매트릭스를 사용하여 다양한 카테고리 간의 관계를 반영하려면 데이터 증강 파이프라인에서 이를 반영해야 합니다. MMDetection의 data 섹션에서 데이터 증강을 담당하는 부분에 새로운 증강 방식(친화도 기반 이미지 변환)을 추가
• datasets/coco_detection.py 또는 관련 데이터셋 파일에서 데이터 로드 및 전처리 과정을 수정하여 카테고리 간 친화도 매트릭스를 반영

[boyamie]

코드가 없어서 보류..