Lecture 2: Neural networks basics - week 2

[jasmine-shin]

1. 이진 분류 Binary Classification

• 신경망을 구현할 때는 전체 학습 세트를 돌리는데 for문을 사용하지 않고 처리 (cf. m개의 학습 표본을 가진 training set가 있으면, m개의 training example에 대해서 for문을 돌리면서 하나씩 training set를 처리 하는 방법 )

• 신경망에서 학습하는 방법 : 정방향 전파와 역전파 계산 법을 사용 (forward propagation and backward propagation)

• 이진 분류란 : 그렇다 / 아니다 2개로 분류, 결과가 ‘그렇다’ 이면 1로 표현하고 ‘아니다’이면 0으로 표현

ex) 고양이다 / 고양이가 아니다.

2. 로지스틱 회귀 Logistic Regression

• 답이 0 또는 1로 정해져있는 이진 분류 문제에 사용되는 알고리즘.
• X (입력 특성), y (주어진 입력특성 X에 해당하는 실제 값) ŷ (y의 예측값) 을 의미
• 이진 분류를 위한 ŷ 값은 y가 1일 확률을 의미하며 0 ≤ ŷ ≤ 1 사이의 값을 가져야한다.
• 선형 회귀시

  를 통해 계산하지만, 해당 값은 0과 1 범위를 벗어날 수 있다. 시그모이드 함수를 통해 0과 1사이의 값으로 변환해준다.

• 로지스틱 회귀 비용 함수

3. 경사 하강법 Gradient Descent

• 비용함수 : 전체 데이터셋의 예측이 얼마나 잘 평가되었는가를 나타냄. (비용 함수는 볼록한 형태. 볼록하지 않은 함수는 경사하강법을 통해 최적의 파라미터를 찾을 수 없다.)
• 경사하강법: 이를 가능케하는 파라미터 w와 b를 찾아내는 방법 중 하나
• 함수의 최소값을 모르기 때문에, 임의의 점을 골라서 시작합니다.
• 경사하강법은 가장 가파른(steepest) 방향, 즉 함수의 기울기를 따라서 최적의 값으로 한 스텝씩 업데이트하게 됩니다. ​​

4. 파생 Derivatives

• 기울기(slope)
• 도함수(derivative) : 도함수는 미분 계수를 일반화한 개념 (특정한 x값이 아닌 임의의 x에 관한 순간변화율을 나타낸(일반화한) 것) 변수 a를 조금만 변화했을 때, 함수 f(a) 가 얼만큼 변하는지는 측정하는 것입니다.
• 기울기 혹은 도함수는 함수에 따라서 달라 질 수 있다.

4. 계산 그래프 Computation Graph

J(a,b,c)=3(a+bc) 의 계산 그래프 만드는 과정 u = bc v = a+u J = 3v

5. 백터화 Vectorization

• vectorization : 코딩에서 명백한 for loop들을 제거하는 기술

• 예시 ) vectorized 버전은 1.5 ms, loop 의 경우 481 ms (for loop이 300배 정도 더 느림)

  

• 다운로드 링크 https://www.anaconda.com/products/individual/download-success

• 컴퓨터의 계산 효율성을 위해서 'for loop' 을 피한다. 자주 쓰는 넘파이(numpy) 함수: log, abs, maximum, **, zeros

6. 파이썬 브로드캐스팅 broadcating Python

• 전체 트레이닝 세트에 대해서, for loop의 사용없이 로지스틱 회귀분석 사용
• 기울기 강하의 single iteration을 도입

[jasmine-shin]

참고 사이트 https://www.boostcourse.org/ai215/joinLectures/86246