njs03332 commented 1 year ago

1: 11.4.3
2: 11.4.4 - 11.5
3: 12.1
2/9 목요일 10:00pm

danbi5228 commented 1 year ago

11.4.4 맥스-노름 규제

각각의 뉴런에 대해 입력의 연결 가중치 w가 || w ||₂ <= r 이 되도록 제한
- r: 맥스-노름 하이퍼파라미터
- || * ||₂: L2 노름
전체 손실 함수에 규제 손실 항을 추가하지 않고 대신 매 훈련 스텝이 끝나고 || w ||₂를 계산하고 필요하면 w의 스케일 조정
- w <- w * (r / || w ||₂)
- r을 줄이면 규제의 양이 증가하여 과대적합을 감소시키는데 도움
불안정한 그레이디언트 문제를 완화하는 데 도움

매 훈련 반복이 끝난 후 모델의 fit() 메서드가 층의 가중치와 함께 max_norm()이 반환한 객체를 호출하고 스케일이 조정된 가중치를 반환

이 값을 사용해서 층의 가중치를 바꿈

keras.layers.Dense(100, activation="elu", kernel_initializer="he_normal", kernel_constraint=keras.constrains.max_norm(1.))

max_norm 함수의 매개변수 중 axis는 기본값이 0

axis = 0 일 때 맥스-노름 규제는 각 뉴런의 가중치 벡터에 독립적으로 적용됨

합성곱 층에 맥스-노름을 사용하려면 axis 매개변수를 적절하게 지정해야 함 (14장 참고. 일반적으로 axis=[0, 1, 2])



## 11.5 요약 및 실용적인 가이드라인
- 11장에서 다룬 여러 기법을 언제 쓰면 좋을지에 대한 명확한 기준은 없지만, 대부분의 경우에 잘 맞는 설정을 정리
- 기본 DNN 설정

| 하이퍼파라미터 | 기본값 | 
|---|---|
| 커널 초기화 | He 초기화 |
| 활성화 함수 | ELU |
| 정규화 | 얕은 신경일 경우 없음. 깊은 신경망이라면 배치 정규화 |
| 규제 | 조기 종료 (필요시 L2규제 추가) |
| 옵티마이저 | 모멘텀 최적화 (또는 RMSProp 이나 Nadam) |
| 학습률 스케줄 | 1 사이클 |

- 자기 정규화를 위한 DNN 설정 : 네트워크가 완전 연결 층을 쌓은 단순한 모델이라면 자기 정규화를 사용할 수 있음

| 하이퍼파라미터 | 기본값 | 
|---|---|
| 커널 초기화 | 르쿤 초기화 |
| 활성화 함수 | SELU |
| 정규화 | 없음 (자기 정규화) |
| 규제 | 필요하다면 알파 드롭아웃 |
| 옵티마이저 | 모멘텀 최적화 (또는 RMSProp 이나 Nadam) |
| 학습률 스케줄 | 1 사이클 |

- 비슷한 문제를 해결한 모델을 찾을 수 있다면 사전 훈련된 신경망의 일부를 재사용해볼 것
- 레이블이 없는 데이터가 많다면 비지도 사전훈련을 사용
- 비슷한 작업을 위한 레이블된 데이터가 많다면 보조 작업에서 사전 훈련을 수행

### 예외 (p.459 상단)
- 희소 모델이 필요하다면 L1규제 사용. 매우 희소한 모델이 필요하면 텐서플로 모델 최적화 툴킷 사용 (기본 DNN 설정 사용)
- 빠른 응답을 하는 모델이 필요하다면 층 개수를 줄이고 배치 정규화 층을 이전 층에 합치기. LeakyReLU나 ReLU 같은 빠른 활성화 함수 사용
- 위험에 민감하고 예측 속도가 매우 중요하지 않은 애플리케이션이라면 MC 드롭아웃 사용

njs03332 commented 1 year ago

11.4.3 몬테 카를로 드롭아웃

드롭아웃을 사용해야 할 몇 가지 이유 - Yarin Gal, Zoubin Ghahramani (2016)
- 드롭아웃을 수학적으로 정의하여 드롭아웃 네트워크와 근사 베이즈 추론 사이에 깊은 관련성 정립
- 몬테 카를로 드롭아웃 : 훈련된 드롭아웃 모델을 재훈련하거나 전혀 수정하지 않고 성능을 크게 향상시킬 수 있음. 모델의 불확실성을 잘 측정, 구현 쉬움
```
# 앞서 훈련한 드롭아웃 모델을 재훈련하지 않고 성능을 향상시키는 완전한 MC 드롭아웃 구현
y_probaas = np.stack([model(X_test_scaled, training=True)
                                          for sample in range(100)])
y_proba = y_probas.mean(axis=0)
```
model(X)는 model.predict(X)와 비슷하나 텐서를 반환하고 training 매개변수를 지원함
- training=True로 지정 - Dropout 층이 활성화됨
10,000개의 샘플과 10개의 클래스가 있는 테스트 세트에 대해 100개의 예측을 만들어 쌓음 : y_probas는 [100, 10000, 10] 크기의 행렬
axis=0을 기준으로 평균하여 한 번의 예측을 수행했을 때와 같은 크기의 배열을 얻음 : y_proba는 [10000, 10] 크기의 행렬
드롭아웃으로 만든 예측을 평균하면 드롭아웃이 없이 예측한 하나의 결과보다 더 안정적

# 드롭아웃을 끄고 패션 MNIST 테스트 세트 첫 번째 샘플 모델 예측 확인
np.round(model.predict(X_test_scaled[:1]), 2)
## 결과: 99%로 이 이미지가 클래스 9(앵클 부츠)에 속한다고 확신

# 드롭아웃을 활성화하여 예측
np.round(y_probas[:, :1], 2)
## 결과: 여전히 클래스 9를 선호하지만 이따금 클래스 5(샌들)이나 7(스니커즈)로 생각 (모두 신발이라는 공통점)

# 첫 번째 차원으로 평균 내기
np.round(y_proba[:1], 2)
## 결과: 여전히 클래스 9에 속한다고 생각하나 62%만 확신함. 모델이 생각하는 다른 클래스에 대해 정확히 알 수 있음

# 확률 추정의 표준 분포 확인
y_std = y_probas.std(axis=0)
np.round(y_std[:1], 2)
## 결과: 이 추정에는 많은 분산이 있음 - 만약 위험에 민감한 시스템 (ex. 의료, 금융) 이런 불확실한 예측을 주의 깊게 다루어야 함

# 정확도 확인
accuracy = np.sum(y_pred == y_test) / len(y_test)
accuracy
## 결과: 조금 향상됨

몬테 카를로 샘플의 숫자 (여기서는 100) 는 튜닝할 수 있는 하이퍼파라미터
- 애플리케이션에 따라 성능과 정확도 사이에 균형점을 찾는 것이 중요
- 값이 높을수록 예측과 불확실성 추정이 더 정확해지나, 예측 시간이 늘어남
- 일정 샘플 수가 넘어서면 성능이 크게 향상되지 않음
모델이 훈련하는 동안 다르게 작동하는 층을 가지고 있다면 Dropout 층을 아래와 같은 MCDropout 클래스로 바꿔주어야 함
```
class MCDropout(keras.layers.Dropout):
def call(self, inputs):
    return super().call(inputs, training=True)
```
Dropout 층을 상속하고 call() 메서드를 오버라이드하여 training 매개변수를 True로 강제로 설정

givitallugot commented 1 year ago

텐서플로를 사용한 사용자 정의 모델과 훈련

Keras도 딥러닝 대부분 할 수 있지만, Tensorflow를 활용하면
- 자신만의 손실 함수, 지표, 층, 모델, 초기화, 규제, 가중치 규제 등을 만들어 세부적으로 제어 가능
- 그레디언트에 특별한 변환이나 규제 적용
- 네트워크의 부분마다 다른 옵티마이저를 사용할 수 있음
- 훈련 반복문 자체를 완전히 제어하고 싶을 수 있음

12.1 텐서플로 훑어보기

강력한 수치 계산용 라이브러리, 구글 브레인팀에서 개발했고 대규모 서비스에 사용됨
텐서플로가 제공하는 것들
- GPU를 지원
- 분산 컴퓨팅을 지원
- JIT(Just-In-Time) 컴파일러를 포함
- 속도를 높이고 메모리 사용량을 줄이기 위해 계산을 최적화하고 효율적으로 실행
- 계산 그래프는 플랫폼에 중립적인 포맷으로 내보낼 수 있음
- 텐서플로는 자동 미분 기능과 RMSProp, Nadam 같은 고성능 옵티마이저를 제공하므로 모든 종류의 손실 함수를 쉽게 최소화할 수 있음

가장 저수준의 텐서플로 연산은 매우 효율적인 C++ 코드로 구현
윈도우, 리눅스, 맥OS뿐 아니라 IOS와 안드로이드 같은 모바일 장치에서도 실행
파이썬 API외에 C++, 자바, Go, 스위프트 API와 더불어 Tensorflow.js라는 자바스크립트 구현도 있음
하나의 라이브러리 그 이상이며 생태계를 가짐
시각화를 위한 텐서보드
텐서플로 제품화를 위한 라이브러리 모음 (https://www.tensorflow.org/tfx?hl=ko)
텐서플로 허브를 통해 사전훈련된 신경망 다운로드 후 재사용 가능
텐서플로 모델 저장소에서 많은 신경망 구조 다운 (https://github.com/tensorflow/models)
텐서플로 리소스 페이지에서 다양한 텐서플로 기반 프로젝트 확인 (https://github.com/jtoy/awesome-tensorflow) (https://www.tensorflow.org/resources/models-datasets?hl=ko)

njs03332 / ml_study

2023/02/03 ~ 2023/02/09 #57