10.1.4 다층 퍼셉트론과 역전파

다층 퍼셉트론 구성
- 입력층
- 하나 이상의 은닉층 (TLU 층)
- 출력층
- 모든 층은 편향 뉴런을 포함하며 다음 층과 완전히 연결되어 있음
심층 신경망: 은닉층을 여러 개 쌓아 올린 인공 신경망
- 딥러닝: 심층 신경망을 연구하는 분야 (연산이 연속하여 길게 연결된 모델을 연구)
역전파 훈련 알고리즘: 효율적인 기법으로 그레이디언트를 자동으로 계산하는 경사 하강법
- 모든 모델 파라미터에 대한 네트워크 오차의 그레이디언트를 계산할 수 있음
- 오차를 감소시키기 위해 각 연결 가중치와 편향값이 어떻게 바뀌어야 할지 알 수 있음
자동 미분: 자동으로 그레이디언트 계산하는 것
- 역전파에서는 후진 모드 자동 미분을 사용함
- 빠르고 정확하며 미분할 함수가 변수(연결 가중치)가 많고 출력(손실 하나)이 적은 경우 잘 맞음
역전파 훈련 알고리즘 자세히
- 하나의 미니배치씩 진행하여 전체 훈련 세트 처리, 이 과정 여러 번 반복 (에포크)
- 1. 정방향 계산
- 각 미니배치는 입력층으로 전달되고 출력층의 출력을 계산할 때까지 은닉층을 거침
- 역방향 계산을 위해 중간 계산값 모두 저장
- 1. 출력 오차 측정
- 1. 역방향 계산
- 각 출력 연결이 이 오차에 기여하는 정도를 계산 (연쇄 법칙 적용)
- 연쇄 법칙을 사용해 입력층에 도달할 때까지 역방향으로 이전 층의 연결 가중치가 오차의 기여 정도에 얼마나 기여했는지 측정
- 오차 그레이디언트를 거꾸로 전파함으로써 효율적으로 네트워크에 있는 모든 연결 가중치에 대한 오차 그레이디언트를 측정
- 1. 경사 하강법
- 계산한 오차 그레이디언트를 사용해 네트워크에 있는 모든 연결 가중치를 수정
역전파 훈련에서 은닉층의 연결 가중치를 랜덤하게 초기화하는 것이 중요
- 모든 가중치와 편향을 0으로 초기화하면 역전파도 뉴런을 동일하게 바꾸어 모든 뉴런이 똑같아진 채로 남음
역전파 알고리즘 작동을 위해 계단 함수 대신 로지스틱 (시그모이드) 함수 도입
- 로지스틱 함수는 어디서든지 0이 아닌 그레이디언트가 잘 정의되어 있음
- 다른 활성함수도 사용 가능
- 하이퍼볼릭 탄젠트 함수
  - S자 모양, 연속적, 미분 가능
  - 출력 범위가 -1~1
  - 훈련 초기에 각 층의 출력을 원점 근처로 모으는 경향 (빠르게 수렴되도록 도와줌)
- ReLU 함수
  - 연속적이지만 z=0에서 미분가능하지 않음
  - z<0일 경우 도함수가 0이지만, 실제로는 잘 작동하고 계산 속도가 빠름 -> 기본 활성화 함수로 사용
  - 출력에 최댓값이 없어 경사 하강법에 있는 일부 문제를 완화해줌 (로지스틱이나 하이퍼볼릭 탄젠트의 경우 양극단에서 기울기가 급격히 감소하여 오차 그레이디언트를 잘 역전파하지 못함)
- 활성화함수가 필요한 이유
- 층 사이에 비선형성을 추가하지 않으면 아무리 층을 많이 쌓아도 하나의 층과 동일
- 선형 변환을 여러 개 연결해도 선형 변환을 얻게 되기 때문
- 비선형 활성화 함수가 있는 충분히 큰 심층 신경망은 이론적으로 어떤 연속 함수도 근사할 수 있음

10.1.3 퍼셉트론

퍼셉트론 perceptron은 가장 간단한 인공 신경망 구조 중 하나 (1957년 프랑크 로젠블라트가 제안)
TLU (threshold logic unit) 또는 LTU (linear threshold unit) 라고 불리는 조금 다른 형태의 인공 뉴런을 기반으로 함
- 입력과 출력이 어떤 숫자이고, 각각의 입력 연결은 가중치와 연관되어 있음
- TLU는 입력의 가중치 합을 계산한 뒤 계산된 합에 계단 함수 (step function)를 적용하여 결과를 출력함
퍼셉트론에서 가장 널리 사용되는 계단 함수는 헤비사이드 계단 함수 (Heaviside step function) 이고, 부호 함수(sign function)를 대신 사용하기도 함
- (p.357 의 경우 h(heaviside)(0) = 1)
- 하나의 TLU는 간단한 선형 이진 분류 문제에 사용할 수 있음. 입력 선형 조합을 계산해서 임계값이 넘으면 양성 클래스 출력. 이 때, TLU를 훈련한다는 것은 최적의 가중치를 찾는다는 것을 의미
퍼셉트론은 층이 하나뿐인 TLU로 구성되고, 각 TLU는 모든 입력에 연결되어 있음
한 층에 있는 모든 뉴런이 이전 층의 모든 뉴런과 연결되어 있을 때 이를 완전 연결층 (fully connected layer) 또는 밀집층(dense layer) 이라고 함
- 입력은 입력 뉴런에 주입되고, 입력층은 모두 입력 뉴런으로 구성되며 보통 거기에 편향 특성이 더해짐
- 위 그림의 경우 입력 두 개와 출력 세 개로 구성된 퍼셉트론
- 샘플을 세 개의 다른 이진 클래스로 동시에 분류할 수 있으므로 다중 레이블 분류기(multilabel classifier) 라 할 수 있음
- p.358 식 10-2 완전 연결층의 출력 계산
- 한번에 여러 샘플에 대한 인공 뉴런의 출력을 계산하는 방법
- X: 입력 특성의 행렬. 행은 샘플, 열은 특성
- W: 가중치 행렬. 편향 뉴런을 제외한 모든 연결 가중치를 포함. 행은 입력 뉴런, 열은 출력층에 있는 인공 뉴런에 해당
- b: 편향벡터. 편향 뉴런과 인공 뉴런 사이의 모든 연결 가중치를 포함
- Ø: 활성화 함수 (activation function). 인공 뉴런이 TLU일 경우 이 함수는 계단 함수
퍼셉트론의 훈련 방법
- 퍼셉트론에 한 번에 한 개의 샘플이 주입되면 각 샘플에 대한 예측이 만들어짐
- 잘못된 예측을 하는 모든 출력 누런에 대해 올바른 예측을 만들 수 있도록 입력에 연결된 가중치를 강화시킴
- w_i,j: i번째 입력 뉴런과 j번째 출력 뉴런 사이를 연결하는 가중치
- x_i: 현재 훈련샘플의 i번째 뉴런의 입력값
- ŷ_j: 현재 훈련샘플의 j번째 출력 뉴런의 출력값
- y_j: 현재 훈련샘플의 j번째 출력 뉴런의 타깃값
- η(에타): 학습률
- 이 훈련 알고리즘은 헤브의 규칙에서 영감을 많이 받음
- 도널드 헤브: 생물학적 뉴런이 다른 뉴런을 활성화시킬 때 이 두 뉴런의 연결이 더 강해진다고 제안
- 시에그리드 로웰의 요약: 두 뉴런이 동시에 활성화될 때마다 이들 사이의 연결 가중치가 증가하는 경향이 있다
- 퍼셉트론 수렴 이론: 훈련 샘플이 선형적으로 구분될 수 있다면 이 알고리즘이 정답에 수렴한다 (로젠블라트 증명)

사이킷런에서 하나의 TLU 네트워크를 구현한 Perceptron 클래스 제공


import numpy as np
from sklearn.datasets import load_iris
from sklearn.linear_model import Perceptron

iris = load_iris() X = iris.data[:, (2, 3)] # 꽃잎의 길이와 너비

참고; 0: setosa, 1:versicolor, 2:virginica

y = (iris.target == 0).astype(np.int) # target 값이 0이면 1, 아니면 0인 리스트

per_clf = Perceptron() per_clf.fit(X, y)

y_pred = per_clf.predict([[2, 0.5]])

사실 Perceptron 클래스는 아래 매개변수를 갖는 SGDClassifier와 동일

loss = "perceptron"

learning_rate = "constant"

eta0 = 1 (학습률)

penalty=None (규제없음)

퍼셉트론은 클래스 확률을 제공하지 않고 고정된 임곗값을 기준으로 예측을 만들기 때문에

퍼셉트론 보다 로지스틱 회귀가 더 선호됨


- 퍼셉트론과 다른 선형 분류기의 심각한 약점은 일부 간단한 문제(ex. XOR 분류 문제)를 풀 수 없다는 점
- 하지만 퍼셉트론을 여러 개 쌓아올리면 일부 제약을 줄일 수 있다는 사실이 밝혀졌고 이를 다층 퍼셉트론(MLP)라고 함
  - (참고) https://velog.io/@skyepodium/퍼셉트론이-왜-XOR-문제를-못푸는지-알아보기

10.1.5 회귀를 위한 다층 퍼셉트론

한 가지 변수값 예측 시 하나의 출력 뉴런 필요

다변량 회귀에서는 차원마다 출력 뉴런이 필요

일반적으로 출력 뉴런에 활성화 함수를 사용하지 않고 어떤 범위의 값도 출력되도록 함

출력이 양수로 고정이면 출력층에 ReLU 또는 softplus(z) = log(1+exp(z))

어떤 범위 안의 값을 예측하기 위해서는 로지스틱 함수(0,1 사이) 나 하이퍼볼릭 탄젠트 함수(-1,1 사이) 를 사용

추가로, 회귀 MLP는 전형적으로 입력 뉴런 수는 특성의 개수, 일반적으로 1-5개의 은닉층 수, 은닉층의 뉴런 수는 10-100개, 은닉층의 활성화 함수는 ReLU, 손실 함수는 MSE(이상치가 있다면 MAE/Huber) 를 주로 사용

10.1.6 분류를 위한 다층 퍼셉트론

이진 분류에서는 로지스틱 활성화 함수로 하나의 출력 뉴련 필요

다중 레이블 이진 분류도 로지스틱 활성화 함수로 처리 가능, 이메일이 스팸인지 아닌지 예측, 긴급한지 아닌지 예측하는 경우에 두 출력 뉴런을 두고, 첫 번째 뉴런이 이메일이 스팸일 확률, 두 번째 뉴런은 긴급한 메일일 확률

각 샘플이 한 클래스에만 속하는 일반적인 다중 분류에서, 클래스마다 하나의 출력 뉴런을 두고 소프트 맥스 활성화 함수 사용

추가로, 손실 함수는 크로스 앤트로피 손실을 주로 선택

njs03332 / ml_study

2022/10/27 ~ 2022/11/02 #48