2023/05/11 ~ 2023/05/25

[njs03332]

• 5/25 목 22:30

[njs03332]

assign roles -s 0511 -c 14.1 14.2 14.1.1~2

[njs03332]

	0	1	2
member	한단비	주선미	김유리
chapter	14.1	14.2	14.1.1~2

[njs03332]

14.2.1 필터

• 필터 (합성곱 커널) = 수용장 크기의 작은 이미지로 표현할 수 있는 가중치 세트
  • 층의 전체 뉴런에 적용된 하나의 필터는 하나의 특성 맵을 만듦 - 이 맵은 필터를 가장 크게 활성화시키는 이미지의 영역을 강조
  • 훈련하는 동안 합성곱 층이 자동으로 해당 문제에 가장 유용한 필터를 찾고 상위 층들이 이들을 연결하여 더 복잡한 패턴을 학습함

14.2.2 여러 가지 특성 맵 쌓기

• 실제 합성곱 층은 여러 가지 필터를 가지고 필터마다 하나의 특성맵을 출력하므로 3D로 표현하는 것이 정확

  • 하나의 합성곱 층이 입력에 여러 필터를 동시에 적용하여 입력에 있는 여러 특성을 감지할 수 있음

• 한 특성 맵에 있는 모든 뉴런이 같은 파라미터를 공유한다는 사실은 모델의 전체 파라미터 수를 급격하게 줄여줌

  • 일반적인 DNN은 한 지점에 있는 패턴을 인식하도록 학습되었다면 오직 패턴이 그 위치에 있을 때만 감지할 수 있음

• 입력 이미지는 컬러 채널마다 하나씩 여러 서브 층으로 구성되기도 함

  • 전형적으로 빨강, 초록, 파랑 세 가지 / 흑백 이미지는 하나의 채널만 가짐

• 합성곱 층 l에 있는 k 특성 맵의 i행, j열에 위치한 뉴런은 이전 l-1 층에 있는 모든 특성 맵의 i x s_h에서 i x s_h + f_h - 1 까지의 행과 i x s_w 에서 i x s_w + f_w - 1까지의 열에 있는 뉴런의 출력에 연결됨

• 하나의 큰 수학식으로 표현하면 (입력에 대한 가중치 합을 계산하고 편향을 더하는 것)

• z_i,j,k는 합성곱 층(l층)의 k특성 맵에서 i행, j열에 위치한 뉴런의 출력

• s_h와 s_w는 수직과 수평 스트라이드, f_h와 f_w는 수용장의 높이와 너비, f_n'는 이전 층 (l-1층)에 있는 특성 맵의 수

• xi',j',k'는 l-1층의 i'행, j'열, k' 특성 맵에 있는 뉴런의 출력

• b_k는 k특성맵의 편향 <- k 특성 맵의 전체 밝기를 조정하는 다이얼로 생각할 수 있음

• w_u,v,k',k는 l층의 k 특성 맵에 있는 모든 뉴런과 u행, v열, 그리고 k' 특성 맵에 위치한 입력 사이의 연결 가중치

[givitallugot]

14.2 합성곱 층

• CNN의 가장 중요한 구성 요소
• 입력 이미지의 모든 픽셀에 연결되는 것이 아니라 합성곱 층 뉴런의 수용장 안에 있는 픽셀에만 연결
• 두 번째 합성곱 층에 있는 각 뉴런은 첫 번째 층의 작은 사각 영역 안에 위치한 뉴런에 연결
• 이러한 구조는 첫 번째 은닉층에서 작은 저수준 특성에 집중하고, 그 다음 은닉층에서 더 큰 고수준 특성으로 조합해나가도록 도움

• 수용장 사이에 간격을 두어 큰 입력층을 훨씬 작은 층에 연결하는 것도 가능 => 모델의 계산 복잡도를 크게 낮춰줌
• 스트라이드: 한 수용장과 다음 수용장 사이의 간격
• 그림에서 제로 패딩이 적용돈 5x7 입력층이 3x3 수용장(커널?)과 스트라이드 2를 사용하여 3x4 층에 연결됨 (이 예제는 가로세로 방향으로 모두 스트라이드가 동일하나, 꼭 그래야할 필요는 없음)

[danbi5228]

Chapter 14. 합성곱 신경망을 사용한 컴퓨터 비전

14.1 시각 피질 구조

• 데이비드 허블과 토르스텐 비셀이 시각 피질의 구조에 대한 연구를 위해 진행한 고양이 실험을 기반으로 시각 피질 안의 많은 뉴런이 작은 국부 수용장을 가진다는 것을 알아냄
• 고수준 뉴런이 이웃한 저수준 뉴런의 출력에 기반한다는 아이디어를 이끌어냈고 지금 '합성곱 신경망' 이라 부르는 것으로 진화됨
• NOTE 이미지 인식 문제에 일반적인 완전 연결 층의 심층 신경망을 사용하지 않는 이유는?
  • 이런 신경망은 작은 이미지에서는 잘 동작하지만 큰 이미지에서는 많은 파라미터가 만들어져 문제가 생김
  • 100*100 이미지의 경우 첫번재 뉴런은 뉴런 1000개로 만들어도 총 1천만개의 연결이 생김
  • CNN은 층을 부분적으로 연결하고 가중치를 공유해서 이 문제를 해결함