[선형대수] Ch3. Least Square

---

www.edwith.org/ai251/joinLectures/195088

인공지능을 위한 선형대수 강좌소개 : edwith

주재걸 교수님의 <인공지능을 위한 선형대수> 강의를 듣고 개인적으로 정리한 글입니다. 공부하면서 지속적으로 업데이트 될 예정입니다. 잘못된 내용에 대한 지적은 댓글로 부탁드립니다. :)

---

---

Over-determined Linear Systems ( # equations > # variables)

 

Motivation of Least Squares

- 대부분의 문제는 미지수보다 방정식(주어진 데이터)가 더 많으니 정확한 해를 결정할 수 없다. 따라서 가장 근사(nice아니고 approximate)한 해를 구해보자.

 

Inner product (내적)

- 내적: 두 벡터의 곱 / 결과가 스칼라

+ 외적: 두 벡터에 수직인 벡터 계산 / 결과가 벡터

 

Orthogonal vector sets

: 어떤 페어를 뽑아도 서로 수직인 벡터 집합

 

Least Square problem & 기하학적 해석

 

+ Normal equation

 

Orthogonal projection

- p dim subspace의 basis {v1, ... vp}가 주어졌을 때 이를 orthogonal(혹은 orthonormal)한 basis로 바꾸는 방법? → Gram Schmidt process

- 그에 앞서 Orthogonal projection에 대해 알아보자

 

Projection with real data

- 하지만 우리가 보통 가진 데이터들은 당연히! orthogonal하지 않다.

- orthongonal하지 않은 벡터들을 projection하는 경우에는 다른 벡터의 영향을 받게 되는데, 두 벡터의 상관관계가 높을 경우 (=correlation ↑) 아래와 같은 문제가 발생한다. (기하학적 분석)

- case2에 비해 case1에서의 차이(= 오차)가 projection 결과를 더 크게 좌우함을 알 수 있다. (= 민감한 모델!)

- 따라서 regularization 등을 도입해 위와 같은 문제를 해결하고자 한다.

 

Gram-Schmidt Orthogonalization

- linearly independent한 벡터들을 orthogonal하게 바꾸는 방법론 (→ feature들간 정보 중복이 없도록)

- 새롭게 만들어진 벡터 v1, v2는 x1, x2와 동일한 공간을 span하되 orthonormal하다

 

QR factorization

- 결론부터 정리하면 어떤 행렬(A)을 orthonormal한 Col 벡터를 가지는 행렬(Q)과 상삼각행렬(R)로 분해하는 방법이다. 

- Gram-Schmidt는 A를 통해 Q를 만드는 방법이고, 이를 A로 되돌리는 흐름이다. 

- 조금 헷갈리지만! 어떤 아이디어로 orthonormal한 벡터를 구했는지 생각하고, 이를 역으로 따라가면 된다.