minji-o-j / Machine-Learning

[Spring Semester 2020] Machine Learning (기계학습)

0 stars 0 forks source link

단항 선형회귀 #4

Closed minji-o-j closed 3 years ago

minji-o-j commented 4 years ago

1. 선형 회귀란

회귀: 연속적인 종속 변수와 한 개 이상의 독립 변수 사이의 관계를 추정하는 연속적인 과정
- 종속 변수: y, 결과 변수
- 독립 변수: x, (입력) 특성
- 관계: 모델model, 가설hypothesis

선형 회귀

특성의 가중치 합과 편향(bias) 이라는 상수를 더해 결과 변수를 예측하는 과정
- y=ax+b 에서 a: 가중치, b: 편향
- x1, x2...= features(특성)
- x1, x1^2와 같은 복잡한 모델도 선형회귀로 표현이 가능하다.
  
  활용 예시
- 키와 체중의 관계 분석하기
특성(x축): 키
구하고자 하는 것(y축): 체중

몸무게, 나이, 키로 기대 수명 예측하기
- 특성(x축): 몸무게, 나이, 키
- 구하고자 하는 것(y축): 기대 수명
집 면적과 집값의 관계 분석하기
- 특성(x축): 집 면적
- 구하고자 하는 것(y축): 집값
현재 시장 상태와 추가 정보로 미래의 주식 예측하기
- 특성(x축): 현재 시장 상태, 추가 정보
- 구하고자 하는 것(y축): 미래의 주식
유튜브에서 특정 비디오를 보는 사용자의 나이 예측하기
- 특성(x축): X (실제로는 유튭와 관련된 여러가지가 될 수 있음)
- 구하고자 하는 것(y축): 사용자의 나이

minji-o-j commented 4 years ago

2. 모델 설계

집 면적에 따른 매매가 가격을 예측해보자.

기호

m = 훈련 예제 (training example) 개수
x = “입력” 변수variable/ 특성(feature)
y = “출력” 변수/ “타겟” 변수(target variable, 예측해야 하는 값, 실제값)
y^(y hat) = 모델에 의해 예측한 값
(x, y) – 훈련 예제(training example) 하나
(x^(i), y^(i)) – i번째 훈련 예제

예제

m=57
x={27.6, 27.0, 37.0...}
y={6.1, 3.8, 5.7...}
x^(1) = 27.6
x^(2) = 27.0
y^(1)=6.1

입력 변수(특성)가 하나 더 추가된 경우

특성 개수 = n
- 빈칸 순서대로 n=2, x^(2)_1, x^(3)_2
X^(3)_2: 3번째 training example의 2번째 feature 값

대각선 빨간 선 : hypothesis (모델, h )
아래: x
x와 빨간 선(hypothesis)가 만나는 곳: 추정된 y값, y^
x와 파란점이 만나는 곳 : 실제 y

세타0, 세타1 : parameter --> h를 결정하는 역할
회귀 모델 결정 = parameter 결정

용어 다시 정리하기

x1, x2... : feature theta 0, theta1 ... : parameter

h(x)=theta0+theta1*x --> theta 어떻게? 비용을 따져서

minji-o-j commented 4 years ago

3. 비용함수

주어진 데이터에 대해, 예측된 값(y^) 과 실제 값(y) 사이의 에러를 하나의 실수값으로 수치화한 함수

비용 함수

모델이 틀린 만큼 비용(패널티) 를 준다는 의미에서 직관적인 표현인 '비용'함수라는 이름으로 불림.
손실 함수
모델이 실제 데이터와 차이를 부정적인 의미인 손실 로 간주하여 '손실'함수라 불리기도 함

뜻: 오른쪽 식: 비용함수, Cost function, J를 최소화하는 theta1과 theta2를 찾자
J는 비용함수를 제곱해서 쓰는 방식, squared error function, L2 loss
L1 loss: y1-y1^에 절댓값
L2 loss: y1-y1^의 제곱
- 참조: https://www.stand-firm-peter.me/2018/09/24/l1l2/
  
  비용함수 계산 예제

중앙점으로 이동하는게 목표

minji-o-j commented 4 years ago

4. 경사하강법

theta를 자동으로 결정한다.
미분 가능한 함수의 (지역) 최소값을 찾기 위해 반복적으로 미분을 이용하는 최적화 알고리즘

동시에 업데이트됨
theta가 하나일 때

알파 가 너무 작으면, 경사 하강법이 느려질 수 있음
알파가 너무 크면, 최소값을 지나칠 수 있음.
- 수렴에 실패하게 되고 발산되기도 함
지역적 최소값(local minimum): 우리가 찾은 값이 전체 함수의 최솟값이 아닐 수도 있음

- 왜 알파를 줄이지 않아도 step size가 줄어들까?
- 알파를 고정하더라도, 경사 하강법은 극소에 수렴할 수 있음
- 극소에 수렴할 때, 경사 하강법은 자동으로 조금씩 이동하게됨. 따라서 반복할 때, 후반부에 따로 알파를 줄일 필요 없음.
  
  - 경사 하강법과 cost function의 관계
경사 하강법은 cost function을 이용해서 세타를 구하기 위한 알고리즘이다.

경사 하강법 알고리즘

볼록함수(convex function)

그릇 모양
어떤 지점에서든 기울기를 구할 수 있어야 한다.
극솟값 1개
convex 공간이란?
- 어떤 공간의 아무 두 점을 이은 선분이 모두 그 공간에 포함되어있어야 한다.

왼쪽: convex, 오른쪽: non-convex
convex 함수
- 경사하강법의 cost function(비용함수)로 사용하기 좋다.
non-convex 함수
- local minimum에 빠질 수 있다.

경사 하강법의 종류

- 배치 경사 하강법 (Batch gradient descent)

파라미터를 1회 업데이트 시킬 때, 전체 학습 예제들을 사용
- 파라미터: theta
- 전체 학습 예제들을 사용하므로 메모리 부담이 있고, 속도가 느리다.

- 확률적 경사 하강법 (Stochastic gradient descent(SGD))

1회 업데이트 시킬 때, 무작위로 딱 한 개의 학습 예제를 사용
- 학습할 때마다 cost와 theta값의 변화가 있어서 불안정하다.

- 미니배치 경사 하강법 (Mini-batch gradient descent)

1회 업데이트 시킬 때, 미니배치라 부르는 임의의 작은 학습 예제 샘플을 사용
- 배치를 m단위로 묶는다.
- 배치 사이즈는 4,6, 1024 등등... 보통은 4의 배수를 사용한다.
- GPU 연산에 최적화되어있다.