week #1

[joonsun-baek]

ML의 목적

[joonsun-baek]

ml은 결국 cost function이 가장 작은 hypothesis를 찾는 일. 근데 저 cost function에서 1/2m중 왜 1/2를 하는지 이해가 안됨....

[joonsun-baek]

1/2의 명쾌한 해답을 찾음

• 참고 : https://1ambda.github.io/data-analysis/machine-learning-week-1/

[joonsun-baek]

Gradient descent algorithm의 기본개념 : 이번 강의에서는 linear regression의 cost function에 대응되는 개념만 설명한점을 기억해야 할듯

[joonsun-baek]

산술식 단순화

여기서 위의 1/2에 대한 설명을 예시로 들 수 있음 제곱을 그냥 미분해서 없어진거임 ㅋㅋㅋ

[joonsun-baek]

계속 나오는 영단어 derivative

• 출처 : https://hanvenpark.wordpress.com/2016/10/20/미분differentiation-도함수derivative/

[phh0606c]

1/2 에 대해 논의할려고 git을 들어왔는데 혼자 논의를 끝내 버리셨네요 ㅋㅋ

[cartoon1110]

아 나도 아이패드 가지고싶다 키보드로 쓰려니까 아예 안써짐ㅋㅋㅋ

Cost Function

linear regression에서 선형 방정식 파라미터 2개의 값을 찾아야 하는데 이 값을 어떻게 찾을 것인가?

• 예측한 값 h(x)과 실제 y의 차이가 가장 적게 나타나는 파라미터를 골라야 함
• 우리는 데이터 셋(x,y)를 가지고 있기 때문에 예측한 값과 실제 y의 차이를 알 수 있음
• 위 사항을 수학적 공식으로 나타낸 것이 Cost Function

결국 Cost Function은 예측한 값과 실제 데이터간의 오차를 최소화하는 파라미터를 찾는 함수..인걸로! -> linear regression 에서 목적함수 = cost function

Gradient Descent

Cost Function을 찾기 위한 알고리즘.. 그러니까 모양새가

1. Linear Regression (h(x) = theta0 + theta1 * x)
2. theta를 찾아야해! Cost Function (J(theta0, theta1))
3. Cost Function의 최솟값을 찾아야해! Gradient Descent (theta를 변경해가며 반복 수행)

찾기 위한 알고리즘들이 각각 이름을 지니고 있어서 겁나 헷갈린다.

• Linear Regression 같은 경우에는 theta가 두개이기 때문에 local minimum == global minimum임. 최솟값이 하나라는 뜻 (이차 함수)
• theta가 늘어날 수록 그래프는 복잡해지며 local minimum에 도달하면 global minimum을 찾이 못하는 일이 발생할 수 있음

[joonsun-baek]

@cartoon1110 쓰는게 오래걸리면 걍 노트에 써서 사진찍어서 올려버려 ㅋㅋㅋㅋ 근데 노트북 케이스 몇개 살 돈이면 아이패드 충분히 사는거 아니냐

[cartoon1110]

강의 내용

머신러닝 소개

• 머신러닝이란?
• Supervied Learning
  • Right answer : 정답을 주고 학습
  • Regression: 연속적인 값 예측 (집값같은)
  • Classification: 0 or 1. 이분적인 값 예측 (암이냐 아니냐)
  • Feature: 다양한 Feature의 결과를 주고 학습시킬 수 있음. Feature 선택은 매우 중요함
    • 무한 개의 특성을 한꺼번에 주면 컴퓨터 메모리가 죽어나갈 수 있음
    • 이러한 경우에는 SVM이라는 알고리즘을 사용해서 해결할 수 있음(추후 나옴)
• UnSupervised Learning
  • No answer: Just Clustering!
  • 주어진 데이터들의 연관성을 찾고 데이터들을 클러스터링
  • Cocktail party problem - Non-clustering: Just find structure of data
• Octave 를 활용하면 더 빠르고 효율적으로 머신러닝을 구현할 수 있다. 프로토타입 만들 때 많이 사용하는 프로그래밍 툴

1주차 핵심

• Model Representation
• Cost Function
• Gradient descent

[phh0606c]

나는 회귀랑 분류에 대해서 연속이냐 이산이냐로는 잘 이해가 안가드라고 ㅋㅋ 뭐 말하려는지는 알겠는데, 막상 그런문제를 만났을때 이게 이산이냐 연속이냐로 회귀알고리즘을 쓰자, 분류알고리즘을쓰자 이게 안된다고 할까?

예를 들어 각종 데이터를 이용해서 "신체나이 예측하기" 모델을 만들 때 신체나이란 이산형 데이터란 생각이 들어서, 1살 2살 이런식이니 이거 외에도 사실 int는 모두 이산이기도 하고

그래서 나는 Regression = 태그 값에 "없는 예측결과"를 예측하고 싶을때, Classfication = 예측결과가 태그값 중에 무조건 "나와야할때"

로 생각했는데, 어때? 이렇게 생각하면 해결하고자하는 문제에 대해서, 이건 회귀야 ! 이건 분류야 ! 하고 확실히 결정할 수 있을까?

[cartoon1110]

뭐야 이거 지금봤어요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

음 근데 태그 값 중에 없는 값이 나와도 Classification이라고 부를 수 있을 것 같은게,

• 내가 만약 데이터 셋이 스팸 메일 데이터만 있는 경우 y 값은 "스팸" 밖에 없는 상황이잖아요? 근데 정상 메일 데이터를 넣었을 때는 y 값이 "정상" 으로 분류 될 수 있는거 아닐까요? ("정상" 값이 나온다기 보다 "스팸이 아님" 으로 분류되겠죠?) (갑자기 궁금한게 저렇게 데이터 셋이 한쪽으로 치우친 경우에도 사용이 될 수 있는건가요..?ㅎ;;)

그래서 저는 어떻게 생각했냐면 내가 구하고자 하는 y 값에 따라 두개를 분류할 수 있을 것 같다고 생각했거든요.

• 예를 들어, 동일하게 날씨 데이터가 있다고 가정하면 내가 구하고자 하는 y의 값이 "내일 비가 올지 안올지"인 경우에는 Classification을 사용 내가 구하고자 하는 y의 값이 "내일 비가 올 확률 값"인 경우에는 Regression을 사용

예시가 좀 이상한 것 같긴한데.. 제가 말하고자 하는 느낌은 아시겠죠!? ㅋㅋ 저렇게 생각하는건 어떨까요?

[phh0606c]

음 나는 스팸 문서만 있어서는 분류가 안될거라고 생각하는데 .. classification이 라벨링이 없는 분류를 할 수 있는지 잘 모르겄구만. @joonsun-baek 멘토님 혹시 아십니까?

그치 2번째는 나랑 같은 의견이구만 ! 올지 안올지 두가지 값을 모두 알고있고 그 값중에 고르니까 classfication 내일 비가 올 확률은 어떤 값이 나올지 모르니 regression

[joonsun-baek]

오 댓글달아놓은걸 지금봤고만여

둘다 말한게 모두가 정답임여 정확한 포인트는 아래처럼 생각해보는것도 좋을듯!

• classification : categorical한 데이터를 기반으로 한 학습/예측 방법
  • ex) 스팸/일반
  • ex) 빨간/노란/초록/파란
• regression : 영속적인 값의 학습/예측 방법
  • ex) 확률값
  • ex) 0-1사이의 float값

요것과 별개로, 스팸문서만으로 학습한 모델은 일반문서를 예측해낼수 없습니당 예측하고자 하는 label은 학습시에 모두 필요함!