[머신러닝 수학의 바이블] 선형대수학 Part 3 - 기저와 차원

주요 용어 정리

• 기저(Basis): 벡터 공간을 생성하는 선형 독립인 벡터들의 최소 집합
• 생성 집합(Spanning Set): 벡터 공간의 모든 벡터를 선형 결합으로 표현할 수 있는 벡터들의 집합
• 선형 독립(Linear Independence): 벡터들이 서로를 선형 결합으로 표현할 수 없는 상태
• 차원(Dimension): 벡터 공간의 기저를 이루는 벡터의 개수
• 동형사상(Isomorphism): 두 벡터 공간 사이의 일대일 대응이 되는 선형변환

1. 선형 독립과 생성

1.1 선형 결합의 이해

💡 선형 결합은 벡터들을 스칼라 배하여 더하는 것입니다.

정의

벡터 $x_1, ..., x_k$의 선형 결합은 다음 형태로 표현됩니다:
$v = \lambda_1x_1 + ... + \lambda_kx_k$

여기서 $\lambda_1, ..., \lambda_k$는 스칼라(실수)입니다.

예시

벡터 v₁ = [1, 0], v₂ = [0, 1]이 있을 때
벡터 [3, 2]는 다음과 같은 선형 결합으로 표현됩니다:
3[1, 0] + 2[0, 1] = [3, 2]

1.2 선형 독립의 정의

💡 선형 독립은 어떤 벡터도 다른 벡터들의 선형 결합으로 표현할 수 없는 상태입니다.

수학적 정의

벡터들이 선형 독립이라는 것은 다음 식이 성립할 때입니다:
$\lambda_1x_1 + ... + \lambda_kx_k = 0$ ⟹ $\lambda_1 = ... = \lambda_k = 0$

선형 종속의 예시

벡터 $v_1 = [1, 2]$, $v_2 = [2, 4]$는 선형 종속입니다.
왜냐하면 $2v_1 - v_2 = [0, 0]$이기 때문입니다.

선형 독립의 예시

벡터 $v_1 = [1, 0]$, $v_2 = [0, 1]$는 선형 독립입니다.
$\lambda_1[1, 0] + \lambda_2[0, 1] = [0, 0]$이 성립하려면 $\lambda_1 = \lambda_2 = 0$이어야만 합니다.

2. 생성 집합과 기저

2.1 생성 집합의 이해

💡 생성 집합은 벡터 공간의 모든 벡터를 표현할 수 있는 벡터들의 집합입니다.

정의

벡터들의 집합 A가 벡터 공간 V의 생성 집합이라는 것은:
$V = span[A] = {\sum_{i=1}^k \lambda_ix_i | \lambda_i \in \mathbb{R}, x_i \in A}$

예시

$\mathbb{R}^2$에서:

• ${[1,0], [0,1]}$은 생성 집합입니다.
• ${[1,1], [1,-1]}$도 생성 집합입니다.
• ${[1,0]}$는 생성 집합이 아닙니다 (y축 방향의 벡터를 표현할 수 없음).

2.2 기저의 정의와 성질

💡 기저는 "최소한의" 생성 집합이면서 동시에 선형 독립인 벡터들의 집합입니다.

기저의 조건

1. 선형 독립성: 기저의 어떤 벡터도 다른 벡터들의 선형 결합으로 표현할 수 없음
2. 생성성: 벡터 공간의 모든 벡터를 기저 벡터들의 선형 결합으로 표현 가능
3. 최소성: 위 조건을 만족하는 최소한의 벡터 집합

중요한 성질

1. 한 벡터 공간의 모든 기저는 같은 개수의 벡터를 가집니다.
2. 기저 벡터들의 선형 결합으로 벡터를 표현하는 방법은 유일합니다.
3. 기저는 여러 개 존재할 수 있습니다.

예시: $\mathbb{R}^2$의 기저

1. 표준 기저: ${[1,0], [0,1]}$
2. 다른 기저: ${[1,1], [1,-1]}$
3. 또 다른 기저: ${[2,0], [0,3]}$

📌 Note: 위 세 가지 모두 $\mathbb{R}^2$의 기저가 될 수 있습니다. 각각의 기저로 평면상의 모든 점을 표현할 수 있습니다.