hyunsu-yang
commented
4 years ago Lab-08-1 Perceptron
문제
- perceptron 에 대해 간단히 서술
- 뉴런을 본 따 만든 초기 인공 신경망의 한 종류
- 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘
- perceptron의 한계는?
- AND, OR 는 가능하지만 XOR 경우 분류 안 됨. 즉 학습이 되지 않는다는 문제
- 하나의 레이어를 가진 perceptron는 XOR 해결할 수 없음.
Lab-08-2 Multi Layer Perceptron
문제
-
Backpropagation 에 대해 간단히 서술
- MLP 학습 가능하게 만든 알고리즘.
- 출력에 생긴 오차를 역으로 입력쪽으로 전파시키면서 W,b 학습하는 것인데
- 정확히는 먼저 feed forward 과정을 거치면서 입력이 최종 출력까직 전달
- 다음은 backpropagation 단계로 출력부터 역 방향으로 순차적 cost fucntion 에 대한 편미분을 구하고 W,b 갱신
-
multi layer perceptron은 이미지를 학습하는데 단점을 갖고 있다고 한다. 그 이유를 간단히 서술
- 이미지의 위치가 조금만 변경되더라도 인풋값 변화량이 매우 크며 이에 따라 학습해놓은 W값이 모두 무력화되는 결과를 가져옴.
- 그래서 위치가 기울기 아닌 특징을 찾아서 이미지를 인식하는 방법이 나오게 되고
이를 CNN 의 Convolution & Pooling 과정을 거치게 됨.
Lab-09-1 ReLU (렐루)
문제
-
sigmoid의 단점과 ReLU의 단점은?
- Gradiant 가 양 끝에는 0에 가까운 값
- backpropagtion 할 때 뒷 단으로 갈 수록 Gradiant 소멸, 이것을 vanishing Gradiant 라 함.
- 역전파 과정에서 0에 가까운 아주 작은 기울기가 곱해지게 되면, 앞단에는 기울기가 잘 전달되지 않게 됨.
- ReLU의 단점 ?
- 입력값이 음수면 기울기도 0이 됨. 그리고 이 뉴런은 다시 회생하는 것이 매우 어려움.
-
아래 그림은 SGD와 ADAM 를 사용해 MNIST를 최적화하는 모습입니다. A와 B가 SGD와 ADAM 중 각각 무엇인지 말하고, 빨간선의 형태를 통해 알 수 있는 각 최적화 방법의 특징을 간략히 서술.
SGD (Stochastic Gradient Descent)
- 손실함수의 기울기를 계산하여서 이 기울기 값에 학습률(Learning Rate)를 계산하여 이 결과 값으로 기존의 가중치 값을 갱신
- 무작정 기울어진 방향으로 이동하는 방식이기 때문에 탐색경로가 비효율적이어서 한참을 탐색
Adam
- Momentum (스텝방향 조절)+ Adagrad (스텝사이즈 조절)
강의
목차