2023/08/07 ~ 2023/08/16

[njs03332]

• 8/16 수요일 21:30

[njs03332]

assign roles -s 0807 -c 14.8 14.9.1 14.9.2

[njs03332]

	0	1	2
member	한단비	김유리	주선미
chapter	14.8	14.9.1	14.9.2

[njs03332]

14.9 객체 탐지

• 객체 탐지: 하나의 이미지에서 여러 물체를 분류하고 위치를 추정하는 작업
• 몇 년 전까지 하나의 물체를 분류하고 위치를 찾는 분류기를 훈련한 다음 이미지를 모두 훑는 방법이 사용되었음
  • 예) CNN이 전체 이미지를 슬라이딩하면서 모든 3*3 영역을 봄
  • 조금씩 다른 위치에서 동일한 물체를 여러 번 감지하기 때문에, 불필요한 바운딩 박스를 제거하기 위해 사후 처리 필요
  • NMS (non-max suppression)
    • 다른 꽃이 이미지에 존재하는지 확률을 추정하기 위한 존재여부 (objectness) 출력을 추가하여 훈련하고, 존재여부 점수가 임계값 이하인 바운딩 박스를 삭제 (꽃이 들어있지 않은 박스 삭제)
    • 존재여부 점수가 가장 높은 바운딩 박스를 찾고 이 박스와 많이 중첩된 다른 바운딩 박스를 모두 제거
    • 더 제거할 바운딩 박스가 없을 때까지 반복
  • 꽤 잘 동작하지만 CNN을 여러 번 실행시켜야 해서 느림

14.9.1 완전 합성곱 신경망

• Jonathan Long 등이 시맨틱 분할을 위한 2015년 논문에서 FCN (fully convolutional network) 아이디어를 처음 소개함
• 참고) 잘 정리된 논문 리뷰, 위키독스
• CNN 맨 위의 밀집 층을 합성곱 층으로 변경
• 7*7 특성 맵 100개 출력하는 합성곱 층 위에 뉴런 200개 있는 밀집층이 있는 경우
  • 7*7 크기의 필터 200개와 "valid" 패딩을 사용하는 합성곱 층으로 바꿀 수 있음
  • 이 층은 1*1 크기의 특성 맵 200개를 출력함 -> 밀집층이 만드는 숫자와 완전히 동일함
  • 밀집층 출력 크기 = [배치 크기, 200] / 합성곱 층 출력 크기 = [배치 크기, 1, 1, 200]
• 합성곱 층은 어떤 크기의 이미지도 처리할 수 있음 (밀집 층은 입력 특성마다 하나의 가중치를 두므로 특정 입력 크기를 기대함)
• FCN은 전체 이미지를 딱 한 번 처리하므로 더 효율적임
• 예) 동일한 완전 합성곱 신경망으로 작은 이미지와 큰 이미지를 처리하기

[givitallugot]

YOLO (You Only Look Once)

YOLOv3

• 매우 빨라서 실시간으로 비디오에 적용 가능
• YOLOv3는 앞서 설명한 구조와 비슷하지만 몇 가지 중요 차이점 존재
  • 1. 각 격자 셀마다 (1개가 아니라) 5개의 바운딩 박스 출력, 바운딩 박스마다 하나의 존재여부 점수가 출력 (따라서 20개 클래스가 있는 PASCAL VOC 데이터셋에서 총 격자 셀마다 45개의 숫자 출력 = 20개의 클래스 확률 + 5개의 존재여부 점수 + 각각 4개의 좌표를 가진 5개 바운딩박스)
  • 2. 바운딩 박스 중심의 절대 좌표를 예측하지 않고, 격자 셀에 대한 상대 좌표를 예측함 (0,0)은 셀의 왼쪽 위를 의미, (1,1)은 오른쪽 아래를 의미, 즉 이렇게 함으로서 바운딩 박스 중심이 격자 셀 안에 놓인 것만 에측하도록 훈련
  • 3. 신경망 훈련 전에 앵커 박스(anchor box = 사전 바운딩 박스)라고 부르는 5개의 대표 바운딩 박스 크기를 찾음, 이를 위해 K-평균 알고리즘을 훈련 세트 바운딩 박스의 높이와 너비에 적용
  • (만약 훈련 이미지에 많은 보행자가 있을 때, 다음 신경망이 격자 셀마다 5개의 바운딩 박스를 예측할 때 각 앵커 박스의 스케일을 얼마나 다시 조정할지 예측, 한 앵커박스가 100 X 50 픽셀이었다면 수직 방향 스케일 조정 비율을 1.5, 수평 방향 스케일 조정 비율을 0.9로 예측 => (1001.5) X (500.9) 즉 150 X 45 픽셀로 다음 앵커박스 크기 설정 => 이렇게 적절한 차원의 바운딩 박스를 예측할 가능성이 높아짐)
  • 네트워크가 다른 스케일을 가진 이미지를 사용하여 훈련됨 (크기 다른 앵커박스 5개) => 그냥 큰 스케일보다 속도가 빠르게 됨

mAP

• 객체 탐지에서 널리 사용하는 평가 지표, mean average precision
  • 한 분류기가 10% 재현율에서 90% 정밀도, 20% 재현율에서 96% 정밀도 => 재현율과 정밀도 모두 상승하므로 트레이드 오프가 없음
  • 최소 10% 재현율에서 분류기가 제공할 수 있는 최대 정밀도를 찾아야 함 => 이는 90%가 아니라 96%
  • 최소 0% 재현율에서 얻을 수 있는 최대 정말도, 그 다음 10%, 20%에서 100%까지 재현율에서의 최대 정밀도를 계산 => 그리고 이를 평균, 평균 정밀도 average precision (AP)
  • 두 개 이상의 클래스가 있을 때 각 클래스에 대해 AP를 계산한다음 평균 AP를 계산한 것이 mAP

마무리

• 텐서플로를 사용한 YOLO 구현이 깃허브에 많이 존재 (대표적으로 https://github.com/zzh8829/yolov3-tf2)
• 그 외에도 YOLO와 비슷한 'single shot' 탐지 모델인 SSD, 조금 더 복잡한 Faster R-CNN 등 존재

[danbi5228]

14.8 분류와 위치 추정

• 사진에서 물체의 위치를 추정하는 것은 회귀 작업으로 나타낼 수 있음 (10장 참고)
• 물체 주위의 바운딩 박스를 예측하는 일반적인 방법은 물체 중심의 수평, 수직 좌표와 높이, 너비를 예측하는 것 (총 4개)
• 일반적으로 전역 평균 풀링 층 위에 네 개의 유닛을 가진 두 번째 밀집 출력 층을 추가하고 MSE 손실을 사용해 훈련

base_model = keras.applications.xception.Xception(weights="imagenet", include_top=False) avg = keras.layers.GlobalAveragePooling2D()(base_model.output) class_output = keras.layers.Dense(n_classes, activation="softmax")(avg) loc_output=keras.layers.Dense(4)(avg) model = keras.Model(inputs=base_model.input, outputs=[class_output, loc_output])

loss_weights는 어떤 것을 중요하게 생각하느냐에 따라 값 조정

model.compile(loss=["sparse_categorical_crossentropy", "mse"], loss_weights=[0.8, 0.2] optimizer=optimizer, metrics=["accuracy"])

- 꽃 데이터셋은 꽃 주위의 바운딩 박스를 가지고 있지 않아서 직접 만들어서 추가해야 함
  - 오픈 소스 이미지 레이블 도구 - VGG Image Annotator, LabelImg, OpenLabeler, ImgLab 등
  - 유료 제품 - LabelBox, Supervisely 등
  - 필요시 아마존 매커니컬 터크와 같은 크라우드 소싱 플랫폼을 이용해볼 수 있으나 리소스가 많이 필요함
    - 크라우드소싱 관련 참고 논문: [아드리아나 코바시카 등이 컴퓨터 비전에서 크라우드소싱에 관한 논문](https://homl.info/crowd)
- 이미 준비가 되었다고 가정하고 최종 데이터셋 생성
  - 각 원소는 (images, (class_labels, bouding_boxes)) 형태의 튜플
  - 이 데이터로 모델 훈련 진행
  - TIP) 바운딩 박스의 높이와 너비는 물론 수평과 수직 좌표의 범위를 0에서 1 사이로 정규화해야 하고,
  일반적으로 높이와 너비를 직접 예측하기 보다는 높이와 너비의 제곱근을 예측함
  --> 작은 바운딩 박스에서 10픽셀 오차가, 큰 바운딩 박스의 10픽셀 오차보다 더 많은 벌칙을 받음
- MSE는 모델 훈련을 위한 손실 함수로 사용할 순 있지만 바운딩 박스를 잘 예측하는 지 평가하기에는 좋은 지표가 아님
- IoU intersection over union 지표 사용
  - 바운딩 박스에 널리 사용되는 지표
  - 예측한 바운딩 박스와 타깃 바운딩 박스 사이에 중첩되는 영역을 전체 영역으로 나눈 것 (p. 584 참고)
  - tf.keras 에서는 tf.keras.metrics.MeanIoU 로 구현되어 있음