polynomial regression

[phh0606c]

다항회귀 하면서, 2차함수에서 "집값이 떨어지는건 우리가 원하는 그래프가 아닙니다." 하면서 응교수님이 3차식이나 제곱근식으로 바꿨었는데 이때, 집값이야 그래프가 눈에 보이니까 그렇다 치더라도 앞으로 눈에 안보이는 그래프는 어떻게 예측해야하고, 만약 눈에 보인다 하더라도 3차식이나 제곱근으로 바꾸는건 개인의 역량에 맡기는 건가? 하고 생각하고 있었는데, 강의 말미에 아래와 같은 말을 했다.

여러개의 서로 다른 feature가 있을 때는, 어떤 feature를 사용해야하는지 혼란스러운 상황이 있을 수도 있습니다. 이 수업 이후에, 자동으로 어떤 feature를 사용할지 골라주는 알고리즘에 대해서 배울 것입니다. 그 알고리즘은 data를 보고, 자동으로 2차 함수나 3차 함수, 혹은 다른 함수들 중 알맞은 것을 선택합니다.

오 매우 매우 기대된다. #2 에서 polynomial regression에 대해서는 논의 되지 않았던 내용이라 관련해서 깨닫는 바 혹은 논의할바가 있으면 여기에 정리해나가면 좋을 듯 !

[phh0606c]

6주차에 위 내용에 관한 내용이 나온다. 이름하야 model selection 기대한 스마트한 방법은 아니고, 제법 납득할만한? 방법인데 그냥 다항식에 대한 모델을 모두 만들고, cross validation 을 통해 cv 에러가 가장 낮은 모델을 선택하고 test set 을 적용하여 모델이 잘 만들어졌나 성능을 측정한다. 이러한 이유에서 보통 cv 에러보다 test error가 높게 된다.