머신러닝에서는 보통 연립방정식처럼 벡터로 만들고 벡터 공간안에서 적절한 parameter를 찾기 위해 fitting하는 과정
parameter를 최적화하는 과정이 Vector Space에서 크기와 방향을 바꿔가면서 움직이는 것과 같음
사람이 조금씩 수정하면서 찾는 것이 아닌 알고리즘을 통해 자동적으로 최적의 해를 찾아가는 것
벡터 특징
벡터의 합연산은 순서와 관계가 없다
벡터의 스칼라(넘버) 곱연산은 scalar 만큼 반복하는 것이고 -(minus)는 반대로 방향이 바뀐다
벡터는 크기(size/length)와 방향(direction)을 가졌다.
Dot Product (벡터 특징)
1) commutative : 순서를 바꿔도 결과는 동일합니다. rs=sr
2) distributive : 괄호 안의 벡터를 풀어서 계산할 수 있습니다. r(s+t) = rs+rt
3) associative : 순서가 상관이 없기 때문에 결합이 자유롭게 됩니다. r(as) = a(rs), r(iasi)+rj(asj) = a(risi+rjsj)
Projection
이는 하나의 벡터와 또 다른 벡터는 각도θ 만큼 벌어져 있는 삼각형 모양으로 되어 있다고 했을 때
두 벡터가 직교하지 않는 이상 하나의 벡터에서 다른 벡터로 내렸을 때 만나는 지점이 이 생깁니다.
그 지점으로 부터 처음의 벡터까지의 length를 projection이라고 부릅니다.
한국말로는 투영되었다고 하는데 투영投影이라 함은 '물체의 그림자를 어떤 물체 위에 비추는 일 또는 그 비친 그림자'를 의미
보통 직각이 되도록 곧은 선을 투영합니다.
=> 한 벡터의 변화를 다른 벡터가 얼마만큼 설명할 수 있는가가 Projection의 핵심이다
Changing basis (co-ordinate system)
딥러닝에서 많이 하는 것이 어떤 문제를 다른 고밀도의 벡터로 표현하는 방법
projection product를 통해서 basis space에서 새로운 space로 데이터의 표현이 가능
기저 벡터(basis vector)를 알아야 새롭운 벡터를 정의할 수 있다.
computation을 빠르게 하려면 벡터들을 직교로 만들어주는게 좋은데 기저변환(changing basis)을 통해서 직교 상태로 basis axis를 만들어 놓고 새롭게 벡터를 구할 수도 있습니다.
벡터연산
벡터 특징
Dot Product (벡터 특징)
1) commutative : 순서를 바꿔도 결과는 동일합니다. rs=sr 2) distributive : 괄호 안의 벡터를 풀어서 계산할 수 있습니다. r(s+t) = rs+rt 3) associative : 순서가 상관이 없기 때문에 결합이 자유롭게 됩니다. r(as) = a(rs), r(iasi)+rj(asj) = a(risi+rjsj)
Projection
Changing basis (co-ordinate system)
출처: https://sacko.tistory.com/61?category=630831 [데이터 분석하는 문과생, 싸코]