[머신러닝 수학의 바이블] 선형대수학 - 보충편

1. 역행렬 계산 방법 상세

💡 역행렬은 가우스-조던 소거법을 이용해 계산할 수 있습니다.

1.1 역행렬 계산 과정

확장행렬 만들기

$[A|I]$ 형태의 확장행렬을 만듭니다.

예시:
[1 2 | 1 0]
[3 4 | 0 1]

가우스-조던 소거법 적용

1. 행 기본 연산을 사용
2. 왼쪽 행렬을 단위행렬로 만듦
3. 오른쪽에 남는 행렬이 역행렬

⚠️ 왼쪽 행렬이 단위행렬이 되지 않으면 역행렬이 존재하지 않습니다!

1.2 2×2 행렬의 역행렬 공식

$A = \begin{bmatrix} a & b \ c & d \end{bmatrix}$의 역행렬:

$A^{-1} = \frac{1}{ad-bc}\begin{bmatrix} d & -b \ -c & a \end{bmatrix}$

단, $ad-bc \neq 0$ (행렬식이 0이 아닐 때)

2. 선형변환의 주요 예시 확장

2.1 반사(Reflection) 변환

💡 반사는 특정 직선이나 평면에 대해 대칭이 되도록 하는 변환입니다.

x축에 대한 반사

T([x,y]) = [x,-y]

변환행렬:
[1  0]
[0 -1]

y축에 대한 반사

T([x,y]) = [-x,y]

변환행렬:
[-1 0]
[0  1]

y=x 직선에 대한 반사

T([x,y]) = [y,x]

변환행렬:
[0 1]
[1 0]

2.2 투영(Projection) 변환

💡 투영은 벡터를 특정 부분공간으로 정사영시키는 변환입니다.

x축으로의 투영

T([x,y]) = [x,0]

변환행렬:
[1 0]
[0 0]

y축으로의 투영

T([x,y]) = [0,y]

변환행렬:
[0 0]
[0 1]

3. 고유값과 고유벡터

3.1 정의와 의미

💡 고유벡터는 선형변환 후에도 방향이 변하지 않는 벡터입니다.

수학적 정의

$Av = \lambda v$ 를 만족하는 영벡터가 아닌 벡터 $v$와 스칼라 $\lambda$

• $v$: 고유벡터
• $\lambda$: 고유값

특징

1. 고유벡터는 선형변환의 '주축' 방향을 나타냄
2. 고유값은 해당 방향으로의 '스케일' 변화를 나타냄

3.2 계산 방법

1. 특성방정식 구성: $det(A-\lambda I) = 0$
2. 고유값 계산
3. 각 고유값에 대한 고유벡터 계산: $(A-\lambda I)v = 0$

예시

행렬 $A = \begin{bmatrix} 2 & 1 \ 1 & 2 \end{bmatrix}$의 경우:

1. 특성방정식:
   $(2-\lambda)(2-\lambda) - 1 = 0$
   $\lambda^2 - 4\lambda + 3 = 0$
   $\lambda = 3$ 또는 $\lambda = 1$

2. 고유벡터 계산:
   $\lambda = 3$일 때: $v_1 = [1,1]$
   $\lambda = 1$일 때: $v_2 = [1,-1]$

4. 선형대수학의 주요 응용

4.1 최소제곱법

💡 과다결정된 선형시스템의 근사해를 구하는 방법입니다.

문제 형태

$Ax = b$ 에서 해가 없는 경우, $|Ax-b|$를 최소화하는 $x$ 찾기

해법

$x = (A^TA)^{-1}A^Tb$

4.2 주성분 분석(PCA)

💡 데이터의 주요 특징을 추출하는 차원 축소 기법입니다.

과정

1. 데이터 중심화
2. 공분산 행렬 계산
3. 고유값 분해
4. 주성분 선택