위 이미지에서 A와 B모두 결정 경계가 될 수 있지만 두 그룹으로부터 margin이 최대인 A를 선택 -> 새로운 데이터가 입력될 때 오분류될 가능성을 최소화(overfiiting 최소화)
위 이미지는 결정 경계를 기준으로 2개의 그룹으로 나뉘었지만 각 그룹에 다른 그룹의 data가 들어가있지만 정확히 분류하려면 Overfitting의 문제가 발생하므로 위와 같이 어느정도의 오차는 Overfitting을 줄이기 위해서 필요하다.
regularization(정규화 / 일반화)
overfitting을 피하기 위한 확실한 대책은 training data를 늘리는 것이지만 많은 시간과 비용을 요구하며 이때 사용하는 방식이 regularization이다.
Regularization은 일종의 penalty 조건에 해당하며 2번째 그림처럼 최적의 조건을 찾기 위해 사용되는 것이 정규화
정규화를 통해 데이터 모델의 복잡성을 튜닝하여 언더피팅과 오버피팅의 트레이드 오프를 찾아내는 것
SVM 설명 SVM관련 sklearn 설명(은수)