Ch.04

[jsung0228]

4. 신경망 학습

---

학습이란? - 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득 학습의 지표? - 손실함수를 최소화 시키는 것이 목표

주요내용

• 데이터셋 : Training Set + Test Set
• Test Set : Model의 범용 능력을 평가
• Loss Function을 최소화시키는 Weight variable을 찾아나가는 방법

• 수치미분법을 통해서, Loss Function의 최소값을 구할 수 있다.

4.1.1 데이터 주도 학습

머신러닝 - Feature 선정 → 본질적인 데이터를 정확하게 추출 딥러닝 - 중요한 Feature를 직접 찾음

4.1.2 훈련-시험 데이터

Bias - Variance Trade-off : 결과로 얻을 수 있는 값의 일치도와 모델링해서 나오는 함수의 variance 사이 trade-off 범용성을 고려해서 적당한 model을 선정

4.2 손실함수

• 오차제곱합 / 교차 엔트로피가 존재
• 연속형 데이터 : 오차제곱합 사용

※ Entropy : 정보를 표현하는데 필요한 최소 평균 자원량

확률이 높은 것에 대해서 데이터의 길이를 짧게 가져가야 최소한의 자원 사용 가능

잘 이해가 되지 않는다...

4.3 수치미분과 기울기

• 수치미분 : 어떤 함수가 있을 때 특정한 값에 대해서 변화하는 정도를 나타냄
• Gradient : 여러 개의 변수가 있을 경우, 가장 가파르게 y값이 변하는 방향

※ Gradient 가 가장 가파르게 변화하는 방향이 되는 이유 서술

4.4 경사하강법과 기울기

• 기울어진 방향이 꼭 최소값은 아니지만, 그 방향으로 가는 것이 함수의 값을 줄일 수 있는 방향
• 경사법 : 기울기를 구한 뒤, 그 방향으로 특정값 이동한 뒤 다시 기울기를 구하기를 반복
• 학습률 : 한번에 학습할 때 매개변수를 얼마나 갱신하는지

4.5 학습 알고리즘 구현

미니배치 - 기울기 산출 - 매개변수 경신

경사 하강법으로 매개변수를 갱신하는데, 미니배치는 무작위하게 고르기 때문에, 확률적 경사하강법에 해당