2023/05/30 ~ 2023/07/26

[danbi5228]

• 2023.07.26 수요일 pm10:30

[danbi5228]

assign roles -s 0530 -c 14.4~14.4.1 14.4.2 14.4.3

[njs03332]

	0	1	2
member	한단비	김유리	주선미
chapter	14.4~14.4.1	14.4.2	14.4.3

[givitallugot]

14.4.3 GoogleNet

• 구글 리서치의 크리스찬 세게디 등이 개발, ILSVRC 2014 대회에서 에러율 7% 이하로 낮춤
• 성능 향상의 주 원인은 네트워크가 이전 CNN보다 훨씬 더 깊기 때문
• 인셉션 모듈(inception module)이라는 서브 네트워크를 갖고 있어서 GoogleLeNet이 이전의 구조보다 훨씬 효과적으로 파라미터를 사용
• 실제로 GoogleLeNet은 AlexNet보다 10배나 적은 파라미터를 가짐 (6천만 -> 6백만)

인셉션 모듈

• 3X3+1(S) => 3X3 커널, 스트라이드 1, "same" 패딩을 사용한다는 뜻
• 처음 입력 신호가 복사되어 네 개의 다른 측에 주입, 모든 합성곱 층은 ReLU 활성화 함수를 사용
• 모든 층은 스트라이드 1과 "same"을 사용하므로 출력의 높이와 너비가 모두 입력과 같아서, 모든 출력을 깊이 연결 층에서 깊이 방향으로 연결할 수 있음 (맨 위에 초록색이 깊이 연결)
• 이 연결 층은 axis=3 (깊이방향 축) 매개변수로 tf.concat() 연산을 사용하여 구현 가능

인셉션 모델이 왜 1X1 커널의 합성곱 층을 가지는지?

• 깊이 차원을 따라 놓인 패턴을 잡을 수 있음
• 입력보다 더 적은 특성맵을 출력하므로 차원을 줄일 수 있음 => 연산 비용과 파라미터 개수를 줄임
• 합성곱 층의 쌍([1X1, 3X3])이 더 복잡한 패턴을 감지할 수 있는 한 개의 강력한 합성곱 층처럼 작동

GoogLeNet CNN

• 처음 두 층은 계산의 양을 줄이기 위해 이미지의 높이와 너비를 4배로 줄임
• LRN 층은 이전 층이 다양한 특성을 학습하도록 만듦
• 이어지는 두 층으로 차원을 줄일 수 있음
• LRN 층으로 다양한 패턴 학습
• 계산 속도를 높이기 위해 이미지의 높이와 너비를 2배로 줄임
• 9개의 인셉션 모듈이 이어지고, 중간에 차원 감소를 위해 최대 풀링 층 몇 개 끼워짐
• 그 다음 전역 풀링 층으로 각 특성 맵의 평균을 출력, 여기서 공간 방향 정보를 잃게 됨
• 그 후에 드롭아웃과 완전 연결 층으로 클래스 확률 추정 값을 출력

구글 연구자들은 추가로 여러 GoogLeNet 변종을 제안해서 조금씩 다른 인셉션 모듈을 사용하며 성능이 더 뛰어남.

[njs03332]

14.4.2 AlexNet

• 2012년 이미지넷 대회에서 우승 (Alex Krizhevsky, Ilya Sutskever, Jeffery Hinton)

• LeNet-5와 비슷한데 구조가 더 크고 깊음

• 처음으로 합성곱 층 위에 풀링 층을 쌓지 않고 바로 합성곱 층끼리 쌓음

• 과대적합을 줄이기 위해 두 가지 규제 기법 사용

  • 훈련하는 동안 F9와 F10 (완전연결 층) 의 출력에 드롭아웃을 50% 비율로 적용
  • 훈련 이미지를 랜덤하게 여러 간격으로 이동하거나 수평으로 뒤집고 조명을 바꾸는 식으로 data augmentation 수행
  • 데이터 증식 (data augmentation)
    • 진짜같은 훈련 샘플을 인공적으로 생성하여 훈련 세트의 크기를 늘림
    • 과대적합을 줄이므로 규제 기법으로 사용할 수 있음
    • 생성된 샘플은 가능한 진짜에 가까워야 함 (이상적으로는 증식된 훈련 세트에서 이미지를 뽑았을 때 구분할 수 없어야)
    • 단순한 백색 잡음을 추가하는 것은 도움되지 않음. 증식 방식이 학습 가능해야 함
    • 예) 각기 다른 양으로 훈련 세트에 있는 모든 이미지의 크기를 조금 변경하거나 이동, 회전 -> 모델이 물체의 위치, 방향, 크기 변화에 덜 민감해짐

• C1과 C3 (합성곱 층) 의 ReLU 단계 후에 바로 LRN (local response normalization)이라 부르는 경쟁적인 정규화 단계를 사용

  • 가장 강하게 활성화된 뉴런이 다른 특성 맵에 있는 같은 위치의 뉴런을 억제함 (생물학적 뉴런에서 관측된 경쟁적 활성화를 모방)
  • 특성 맵을 각기 특별하게 다른 것과 구분되게 하고, 더 넓은 시각에서 특징을 탐색하도록 만들어 일반화 성능을 향상

• b_i : i 특성 맵, u 행, v 열에 위치한 뉴런의 정규화된 출력
• a_i : ReLU 단계를 지나고 정규화 단계는 거치기 전인 뉴런의 활성화 값
• k, α, β, r : 하이퍼파라미터 (k - 편향, r - 깊이 반경)
• f_n : 특성 맵의 수
• 예) r = 2이고 한 뉴런이 강하게 활성화된 경우, 자신의 위와 아래의 특성 맵에 위치한 뉴런의 활성화를 억제함
  • AlexNet에서 하이퍼파라미터는 r = 2, α = 0.000002, β = 0.75, k = 1로 설정됨
• tf.nn.local_response_normalization() 연산을 사용하여 구현할 수 있음
  • ZF Net: AlexNet 변종, 몇 가지 하이퍼파라미터 설정을 제외하고는 AlexNet과 같음
• 2013년 ILSVRC 대회에서 우승

[danbi5228]

14.4 CNN 구조

• 전형적인 CNN 구조는 합성곱 층을 몇 개 쌓고 (각각 ReLU 층을 그 뒤에 놓고) 그다음에 풀링층을 쌓고 그다음에 또 합성곱 층(+ ReLU)을 몇 개 더 쌓고 그다음에 다시 풀링 층을 쌓는 식
  • 네트워크를 통과하여 진행할수록 이미지는 점점 작아지지만, 합성곱 층 때문에 일반적으로 점점 더 깊어짐 (= 더 많은 특성맵을 가짐)

• TIP) 합성곱 층에 너무 큰 커널을 사용하는 것은 흔히 하는 실수. 5 X 5 커널의 합성곱 층 대신 3 X 3 커널 두 개를 쌓는 것이 파라미터와 계산량이 적고 일반적으로 더 나은 성능을 냄
  • 스트라이드와 패딩 조건이 동일할 때 기준
  • 5 X 5 필터는 25+1 개의 파라미터를 사용하지만, 3 X 3 필터 두개는 18+2 개의 파라미터를 사용하고 역방향 계산에서도 비용이 적음
• 지난 몇 년간 이 CNN 기본 구조에서 여러 변종이 개발되고 발전되어왔음
  • 얼마나 진전되었는지 확인할 수 있는 좋은 지표는 ILSVRC 이미지넷 대회의 에러율

14.4.1 LeNet-5

• 1998년 얀 르쿤이 만들었고, 손글씨 숫자 인식(MNIST)에 널리 사용됨

• 추가 설명

  • MNIST 이미지는 28 X 28 픽셀이지만 제로 패딩되어 32 X 32가 되고 네트워크에 주입되기 전 정규화 됨
  • 평균 풀링 층은 각 뉴런이 입력의 평균을 계산하고 그 값에 학습되는 계숫값(특성 맵마다 하나씩 존재)을 곱한 뒤 학습되는 값의 편향을 더하고 활성화 함수를 적용하는 과정으로 이루어짐
  • 출력 층은 입력과 가중치 벡터를 행렬 곱셈하는 대신 각 뉴런에서 입력 벡터와 가중치 벡터 간의 유클리드 거리를 출력
  • 각 출력은 이미지가 얼마나 특정 숫자 클래스에 속하는지 측정. 요즘은 크로스 엔트로피 비용 함수를 선호함

• 얀 르쿤의 웹사이트에 LeNet-5이 숫자를 분류하는 데모가 있음