벡터 연산

[farmeter]

벡터연산

• 벡터는 크기와 방향을 가지고 있다
• 머신러닝에서는 보통 연립방정식처럼 벡터로 만들고 벡터 공간안에서 적절한 parameter를 찾기 위해 fitting하는 과정
• parameter를 최적화하는 과정이 Vector Space에서 크기와 방향을 바꿔가면서 움직이는 것과 같음
• 사람이 조금씩 수정하면서 찾는 것이 아닌 알고리즘을 통해 자동적으로 최적의 해를 찾아가는 것

벡터 특징

• 벡터의 합연산은 순서와 관계가 없다
• 벡터의 스칼라(넘버) 곱연산은 scalar 만큼 반복하는 것이고 -(minus)는 반대로 방향이 바뀐다
• 벡터는 크기(size/length)와 방향(direction)을 가졌다.

Dot Product (벡터 특징)

1) commutative : 순서를 바꿔도 결과는 동일합니다. rs=sr 2) distributive : 괄호 안의 벡터를 풀어서 계산할 수 있습니다. r(s+t) = rs+rt 3) associative : 순서가 상관이 없기 때문에 결합이 자유롭게 됩니다. r(as) = a(rs), r(iasi)+rj(asj) = a(risi+rjsj)

Projection

• 이는 하나의 벡터와 또 다른 벡터는 각도θ 만큼 벌어져 있는 삼각형 모양으로 되어 있다고 했을 때
• 두 벡터가 직교하지 않는 이상 하나의 벡터에서 다른 벡터로 내렸을 때 만나는 지점이 이 생깁니다.
• 그 지점으로 부터 처음의 벡터까지의 length를 projection이라고 부릅니다.
• 한국말로는 투영되었다고 하는데 투영投影이라 함은 '물체의 그림자를 어떤 물체 위에 비추는 일 또는 그 비친 그림자'를 의미
• 보통 직각이 되도록 곧은 선을 투영합니다. => 한 벡터의 변화를 다른 벡터가 얼마만큼 설명할 수 있는가가 Projection의 핵심이다

Changing basis (co-ordinate system)

• 딥러닝에서 많이 하는 것이 어떤 문제를 다른 고밀도의 벡터로 표현하는 방법
• projection product를 통해서 basis space에서 새로운 space로 데이터의 표현이 가능
• 기저 벡터(basis vector)를 알아야 새롭운 벡터를 정의할 수 있다.
• computation을 빠르게 하려면 벡터들을 직교로 만들어주는게 좋은데 기저변환(changing basis)을 통해서 직교 상태로 basis axis를 만들어 놓고 새롭게 벡터를 구할 수도 있습니다.

출처: https://sacko.tistory.com/61?category=630831 [데이터 분석하는 문과생, 싸코]