[머신러닝 수학의 바이블] 선형대수학 Part 2 - 행렬과 선형방정식

주요 용어 정리

• 행렬(Matrix): m×n개의 숫자를 직사각형 형태로 배열한 것
• 단위행렬(Identity Matrix): 대각선이 1이고 나머지가 0인 정방행렬
• 역행렬(Inverse Matrix): 행렬 A와 곱했을 때 단위행렬이 되는 행렬
• 전치행렬(Transpose Matrix): 행과 열을 바꾼 행렬
• 행렬식(Determinant): 정방행렬의 특성을 나타내는 스칼라값

1. 행렬의 기초

1.1 행렬의 정의와 표기법

💡 $m \times n$ 행렬은 m개의 행과 n개의 열을 가진 숫자들의 배열입니다.

A = [a_{ij}] = \begin{bmatrix} 
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{m1} & a_{m2} & \cdots & a_{mn}
\end{bmatrix}

예시:
$A = \begin{bmatrix} 1 & 2 & 3 \ 4 & 5 & 6 \end{bmatrix}$ (2×3 행렬)

1.2 행렬의 기본 연산

행렬의 덧셈

• 같은 크기의 행렬끼리만 가능
• 대응하는 성분끼리 더함

예시:
$\begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix} + \begin{bmatrix} 5 & 6 \ 7 & 8 \end{bmatrix} = \begin{bmatrix} 6 & 8 \ 10 & 12 \end{bmatrix}$

행렬의 곱셈

• A의 열 수와 B의 행 수가 같아야 함
• $C_{ij} = \sum_{k=1}^n A_{ik}B_{kj}$

⚠️ 행렬 곱셈은 교환법칙이 성립하지 않습니다: $AB \neq BA$

예시:
$\begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix} \begin{bmatrix} 5 & 6 \ 7 & 8 \end{bmatrix} = \begin{bmatrix} 19 & 22 \ 43 & 50 \end{bmatrix}$

스칼라 곱

• 행렬의 모든 성분에 스칼라를 곱함

예시:
$2\begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix} = \begin{bmatrix} 2 & 4 \ 6 & 8 \end{bmatrix}$

2. 특수한 행렬들

2.1 단위행렬 (Identity Matrix)

💡 대각선 원소가 1이고 나머지가 0인 정방행렬입니다.

$I_n = \begin{bmatrix}
1 & 0 & \cdots & 0 \
0 & 1 & \cdots & 0 \
\vdots & \vdots & \ddots & \vdots \
0 & 0 & \cdots & 1
\end{bmatrix}$

성질: $AI = IA = A$

2.2 전치행렬 (Transpose Matrix)

💡 행과 열을 바꾼 행렬입니다: $(A^T){ij} = A{ji}$

성질:

1. $(A^T)^T = A$
2. $(A + B)^T = A^T + B^T$
3. $(AB)^T = B^T A^T$

2.3 역행렬 (Inverse Matrix)

💡 행렬 A와 곱했을 때 단위행렬이 되는 행렬입니다: $AA^{-1} = A^{-1}A = I$

2×2 행렬의 역행렬

$A = \begin{bmatrix} a & b \ c & d \end{bmatrix}$ 의 역행렬:

$A^{-1} = \frac{1}{ad-bc}\begin{bmatrix} d & -b \ -c & a \end{bmatrix}$ (단, $ad-bc \neq 0$)

3. 선형방정식 시스템

3.1 행렬을 이용한 표현

💡 선형방정식 시스템은 $Ax = b$ 형태로 표현할 수 있습니다.

예시:
$\begin{cases}
x + 2y = 3 \
3x + 4y = 7
\end{cases}$

행렬 형태:
$\begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix} \begin{bmatrix} x \ y \end{bmatrix} = \begin{bmatrix} 3 \ 7 \end{bmatrix}$

3.2 가우스 소거법

💡 선형방정식 시스템을 푸는 체계적인 방법입니다.

기본 행 연산

1. 두 행의 교환
2. 한 행에 0이 아닌 스칼라 곱하기
3. 한 행에 다른 행의 스칼라 배를 더하기

행 사다리꼴 (Row Echelon Form)

1. 0이 아닌 행이 모두 0인 행보다 위에 있음
2. 각 행의 선도계수(피벗)는 위 행의 선도계수보다 오른쪽에 있음
3. 모든 피봇 아래의 원소는 0

3.3 해의 종류

💡 선형방정식 시스템은 세 가지 경우의 해를 가질 수 있습니다.

1. 유일해

   • 정확히 하나의 해가 존재
   • $rank(A) = rank([A|b]) = n$

2. 무한히 많은 해

   • 자유변수가 존재
   • $rank(A) = rank([A|b]) < n$

3. 해 없음

   • 방정식이 모순
   • $rank(A) < rank([A|b])$

📌 Note: 다음 Part 3에서는 고유값과 고유벡터, 대각화에 대해 다루도록 하겠습니다.