[실험] Data Augmentation 실험

[KyubumShin]

목적

Data Augmentation 실험 각 Augmentation에 대한 성능 비교

실험해야하는 상세 항목

• [x] Rotate
• [x] Color 1
• [x] Color 2
• [x] Blur
• [x] Outline

참고 문서

https://yummy-angle-b95.notion.site/2daafd5761504e6f9043f6399a40271f?v=b304c68742d44ff3a377411603fd73b3

[KyubumShin]

규범 rotate 실험 진행

[dudskrla]

나영 Color 실험 진행

[KyubumShin]

Rotate 실험

default : 536장 이미지 more : 1063장 이미지		f1	precission	recall
rotate 10 default(비교군)	0.4175	0.3113	0.6341
rotate 20 default	0.3246	0.2382	0.5092
rotate 10 more (비교군)	0.5146	0.3932	0.7447
rotate 20 more	0.5151	0.4190	0.6684
rotate 30 more	0.4659	0.3630	0.6503
rotate 15 more	0.5475	0.4300	0.7535

결론

• 15일 때 가장 큰 상승폭을 보임
• Data가 작을 때는 augmentation을 적용할 때 Underffiting이 발생하는 것을 알 수 있었다

[dudskrla]

Color 실험

  | f1 | recall | precision -- | -- | -- | -- Base (data 536) | 0.4175 | 0.3113 | 0.6341 실험1 (data 536) | 0.4050 | 0.3072 | 0.5940 실험2 (data 536) | 0.4097 | 0.3224 | 0.5620 Base (data 1063) | 0.5146 | 0.3932 | 0.7447 실험1 (data 1063) | 0.5458 | 0.4317 | 0.7420 실험2 (data 1063) | 0.5274 | 0.4198 | 0.7091 실험3 (data 1063) | 0.5208 | 0.4222 | 0.6795 실험4 (data 1063) | 0.5094 | 0.4024 | 0.6942

결론

• data 536의 경우, data가 부족하여 underfitting이 일어났을 가능성도 고려해볼 수 있다.
• data 536의 경우, data가 부족하여 underfitting이 일어났을 가능성도 고려해볼 수 있다.
• data 1063의 경우, Color 관련 augmentation을 적용하는 것이 성능 향상에 도움이 되었다.
  • (실험1, 실험3) OneOf의 p=0.1의 경우, p=0.5일 때보다 성능 향상에 더 도움이 되었다.
    • 이때, p의 값을 변경하는 실험을 충분히 많이 진행하지 않았기 때문에, 유의미한 결론을 도출하기 어렵다.
  • (실험3, 실험4) OneOf에 ColorJitter를 포함시키고 ChannelShuffle를 OneOf 이후에 적용하는 것은, 성능 향상에 도움이 되지 않았다.
    • 이때, precision과 recall 사이의 trade-off가 일어났을 가능성도 고려해볼 수 있다.

[Su-minn]

Blur 실험

실험1 : p 값에 따른 OneOf(blur 계열) 적용

• 실험 결과

	f1	recall	precision
Base (data 536)	0.4175	0.3113	0.6341
p=0.1 (data 536)	0.3494	0.2601	0.5318
p=1.0 (data 536)	0.3668	0.268	0.5806
Base (data 1063)	0.5146	0.3932	0.7447
p=0.05 (data 1063)	0.3330	0.2519	0.4912
p=0.1 (data 1063)	0.4389	0.3316	0.6488
p=0.2 (data 1063)	0.3038	0.2097	0.551

실험2 : blur + Train Dataset 수에 따른 차이 비교

• 실험 결과

	f1	recall	precision
blur (data 536)	0.3494	0.2601	0.5318
blur (data 1063)	0.4389	0.3316	0.6488

실험3 : blur + rotate15 적용 (data 1063 고정)

• 실험 결과

	f1	recall	precision
blur + rotate10	0.4389	0.3316	0.6488
blur + rotate15	0.3676	0.2715	0.5686

결론

• 실험 1
  • data 536, 1063 의 경우 모두, blur augmentation 을 적용하는 것보다 base 모델이 더 좋은 성능을 보여주었다
  • train data 의 수가 적은데 augmentation 을 적용하여 underfitting 이 일어났을 것이라고 생각한다
  • blur augmentation 적용한 실험 중에서는, data 1063 개에서 p = 0.1 인 경우가 가장 좋은 성능을 보여주었다
  • p 값에 따라 성능이 달라지기에, 적합한 p 값을 찾는 것의 필요성을 느낄 수 있었다
• 실험 2
  • train data 수가 536 개 일 때 보다, 1063 개 일 때 더 좋은 성능을 보여주었다
  • 학습 data 수가 증가할 수록 더 좋은 성능을 보여주는 것을 확인할 수 있었다
• 실험 3
  • blur 계열 augmentation 에 rotate15를 추가 적용시켰을 때 성능이 하락함을 보여주었다
  • blur augmentation 만 사용하여도 base 모델에 비하여 일반화 성능이 떨어지는데, augmentation 적용을 더 증가시켜서 일반화 성능이 하락했을 것이라고 추측한다