2023/05/25 ~ 2023/05/29

[njs03332]

• 5/29 월요일 22:00

[njs03332]

assign roles -s 0525 -c 14.2.3 14.2.4~14.3 14.3.1

[njs03332]

	0	1	2
member	주선미	김유리	한단비
chapter	14.2.3	14.2.4~14.3	14.3.1

[danbi5228]

14.3.1 텐서플로 구현

# 1
# 2x2 커널을 이용한 최대 풀링 층
# 스트라이드: 기본값은 커널 크기로 2가 됨
# 패딩: 기본값은 valid (패딩 없음)
# - 최대 풀링은 평균 풀링보다 강력한 이동 불변성을 제공하고 연산 비용이 조금 덜 듦
# - 일반적으로 평균 풀링 층보다 더 성능이 좋아서 대부분 최대 풀링 층 사용

max_pool = keras.layers.MaxPool2D(pool_size=2)

# 2
# 평균 풀링 층
avg_pool = keras.layers.AvgPool2D(pool_size=2)

# 3
# 깊이방향 풀링 층
# - 흔하지는 않으나 최대 풀링과 평균 풀링은 공간 차원이 아닌 깊이 차원으로 수행될 수 있음
#  - CNN이 다양한 특성에 대한 불변성을 학습할 수 있음
#  - 즉, 이미지의 회전, 왜곡 등이 발생해도 동일한 출력을 만들어 낼 수 있음
# - 케라스는 깊이방향 풀링층을 제공하지 않지만 텐서플로 저수준 딥러닝 API를 사용할 수 있음
# ksize: 배치, 높이, 너비 차원을 따라 커널 크기와 스트라이드를 1로 설정. 깊이 차원을 따라 원하는 커널 사이즈와 스트라이드 값이 마지막 값(3)
# 이 때 마지막 값은 입력 깊이를 나누었을 때 떨어지는 값이여야 함. 이전 층에서 20개의 특성 맵이 출력되면 3의 배수가 아니므로 미동작
depth_pool = keras.layers.Lambda(
    lambda X: tf.nn.max_pool(X, ksize=(1, 1, 1, 3), strides=(1, 1, 1, 3), padding="valid"))

# 4
# 전역 평균 풀링 층
# - 현대적인 신경망 구조에서 종종 사용됨
# - 각 특성 맵의 평균을 계산하여 사용함. 즉 각 샘플의 특성 맵마다 하나의 숫자를 출력함
# - 특성 맵에 있는 대부분의 정보를 잃게되는 매우 파괴적인 연산이지만 출력층에는 유용할 수 있음
global_avg_pool = keras.layers.GlobalAvgPool2D()

[givitallugot]

14.2.3

• 텐서플로에서 각 이미지는 보통 [높이, 너비, 채널] 형태의 3D 텐서로 표현, 하나의 미니배치는 [미니배치 크기, 높이, 너비, 채널] 형태의 4D 텐서로 표현

  
  from sklearn.datasets import load_sample_image

샘플 이미지 로드 (4D)

china = load_sample_image("china.jpg") / 255 flower = load_sample_imge("flower.jpg") / 255 images = np.array([china, flower]) batch_size, height, width, channels = images.shape

필터 2개 (4D)

filters = np.zeros(shape=(7, 7, channels, 2), dtype = np.float32) filters[:, 3, :, 0] = 1 # 수직선 filters[3, :, :, 1] = 1 # 수평선

outputs = tf.nn.conv2d(images, filters, strides=1, padding = "SAME")

plt.imshow(outputs[0, :, :, 1], cmap="gray") plt.show()

- 각 채널의 픽셀 강도는 0~255 사이의 값을 가진 바이트 하나로 표현, 이를 255로 나눠서 0과 1 사이의 실수로 바꿈
- 그 다음 7X7 필터를 만듬 (하나는 가운데 흰 수직선, 하나는 가운데 흰 수평선)
- tf.nn.conv2d() 함수를 사용해 이 필터를 두 이미지에 적용, 이 예에서는 제로 패딩(padding="SAME")과 스트라이드 1을 사용
- conv2d에서 padding은 "VALID" 또는 "SAME" 중 하나 지정 (VALID는 합성곱 층에 제로 패딩을 사용하지 않음, 스트라이드에 따라 입력 이미지의 아래와 오른쪽 행이 무시될 수 있음, SAME으로 지정하면 합성곱 층에 제로 패딩을 사용 
<img width=600 src=https://github.com/njs03332/ml_study/assets/50584633/4095b616-c04f-428a-8d22-9aa30c696eb6>

- 이 예에서 필터를 직접 지정했지만 실제 CNN에서 보통 훈련 가능한 필터를 정의하므로 앞서 설명한 것처럼 신경망이 가장 잘 맞는 필터를 학습
```python
conv = keras.layers.Covn2D(filters=32, kernel_size=3, strides=1, padding="same", activation="relus")

[njs03332]

14.2.4 메모리 요구 사항

• CNN 합성곱 층은 많은 양의 RAM을 필요로 함
  • 특히 역전파 알고리즘 역방향 계산시 정방향에서 계산했던 모든 중간값을 필요로 함
• 추론할 때는 하나의 층이 점유하고 있는 RAM이 다음 층의 계산이 완료되자마자 해제될 수 있음
  • 연속된 두 개의 층에서 필요로 하는 만큼의 RAM만 가지고 있으면 됨
• 훈련하는 동안에는 정방향에서 계산했던 모든 값이 역방향을 위해 보존되어야 함
  • 적어도 각 층에서 필요한 RAM 양의 전체 합 만큼 필요함
• 메모리 부족으로 훈련이 실패하는 경우
  • 미니배치 크기 줄여보기
  • 스트라이드를 사용해 차원을 줄이거나 몇 개 층을 제거
  • 32비트 부동소수 대신 16비트 부동소수를 사용
  • 여러 장치에 CNN을 분산

14.3 풀링 층

• 풀링 층의 목적은 계산량과 메모리 사용량, 파라미터 수를 줄이기 위해 이미지의 부표본 (subsample)을 만드는 것
• 합성곱 층에서와 마찬가지로 풀링 층의 각 뉴런은 이전 층의 수용장 안에 있는 뉴런의 출력과 연결되며, 크기, 스트라이드, 패딩 유형을 지정해야 함
• 그러나 풀링 뉴런은 가중치가 없고 최대나 평균 같은 합산 함수를 사용해 입력값을 더하는 것이 전부임
• 예) 가장 널리 사용되는 풀링 층인 최대 풀링 층 (max pooling layer)
  • 수용장에서 가장 큰 입력값이 다음 층으로 전달되고 다른 값은 버려짐
  • 최대 풀링은 작은 변화에도 일정 수준의 불변성을 만들어줌 (그림 14-9)
  • 회전과 확대, 축소에 대해 약간의 불변성을 제공
  • 이와 같은 불변성은 분류 작업처럼 작은 부분에서 예측이 영향을 받지 않는 경우 유용할 수 있음
• 최대 풀링의 단점
  • 매우 파괴적임 - 입력값을 많이 잃게 됨
  • 어떤 애플리케이션에서는 불변성이 필요하지 않음
  • ex. 시맨틱 분할 - 픽셀이 속한 객체에 따라 픽셀을 구분하는 작업 - 이 경우 등변성이 목표가 됨 (입력의 작은 변화가 출력에서 그에 상응되는 작은 변화로 이어져야 함