[머신러닝 수학의 바이블] 선형대수학 Part 4 - 차원과 선형변환

1. 차원과 부분공간

1.1 차원의 정의

💡 차원은 벡터 공간의 기저를 이루는 벡터의 개수입니다.

차원의 성질

1. 모든 기저는 같은 개수의 벡터를 가집니다.
2. n차원 공간에서 선형 독립인 벡터의 최대 개수는 n입니다.
3. n차원 공간의 생성 집합은 최소 n개의 벡터가 필요합니다.

예시

- R¹: 1차원 (직선) - 기저: {[1]}
- R²: 2차원 (평면) - 기저: {[1,0], [0,1]}
- R³: 3차원 (공간) - 기저: {[1,0,0], [0,1,0], [0,0,1]}

1.2 부분공간의 이해

💡 부분공간은 벡터 공간의 부분집합으로서, 그 자체가 벡터 공간입니다.

부분공간의 조건

1. 영벡터를 포함해야 함
2. 덧셈에 대해 닫혀있음
3. 스칼라 곱에 대해 닫혀있음

예시

R³의 부분공간:

1. 원점을 지나는 평면
2. 원점을 지나는 직선
3. 원점 {[0,0,0]}
4. R³ 전체

⚠️ 원점을 지나지 않는 평면이나 직선은 부분공간이 아닙니다!

2. 선형변환의 이해

2.1 선형변환의 정의

💡 선형변환은 벡터 공간의 구조를 보존하는 함수입니다.

선형변환의 조건

함수 $T: V \rightarrow W$가 선형변환이 되기 위한 조건:

1. $T(u + v) = T(u) + T(v)$ (덧셈 보존)
2. $T(cu) = cT(u)$ (스칼라 곱 보존)

주요 선형변환 예시

1. 회전변환

   2차원 평면에서 θ만큼 회전:
   T([x,y]) = [xcosθ - ysinθ, xsinθ + ycosθ]

2. 스케일 변환

   각 축 방향으로 확대/축소:
   T([x,y]) = [ax, by] (a,b는 실수)

3. 전단변환

   한 방향으로 밀어내기:
   T([x,y]) = [x + ky, y] (k는 실수)

2.2 선형변환의 행렬 표현

💡 모든 선형변환은 행렬로 표현할 수 있습니다.

변환행렬 구하기

1. 기저벡터들에 대한 변환 결과를 계산
2. 이를 열벡터로 하는 행렬 구성

예시: 90도 회전변환

표준기저 {[1,0], [0,1]}에 대해:
- [1,0] → [0,1]
- [0,1] → [-1,0]

따라서 변환행렬은:
A = [0  -1]
    [1   0]

3. 동형사상과 기저변환

3.1 동형사상

💡 동형사상은 두 벡터 공간 사이의 일대일 대응이 되는 선형변환입니다.

동형사상의 조건

1. 선형성 (선형변환의 조건 만족)
2. 전단사함수 (일대일 대응)

성질

1. 두 공간의 차원이 같아야 합니다.
2. 기저가 기저로 대응됩니다.
3. 선형독립성이 보존됩니다.

3.2 기저변환

💡 기저변환은 한 기저에서 다른 기저로의 좌표변환을 의미합니다.

기저변환 행렬

• 기저 B에서 기저 B'로의 변환행렬 P를 구하는 방법:

1. 새로운 기저벡터들을 원래 기저로 표현
2. 이를 열벡터로 하는 행렬 구성

예시

R²에서:
B = {[1,0], [0,1]} → B' = {[1,1], [1,-1]}

변환행렬:
P = [1   1]
    [1  -1]

이제 v'= P⁻¹v로 좌표변환 가능

📌 Note: 기저변환은 벡터의 성분은 변하지만, 벡터 자체는 변하지 않는 변환입니다.

4. Rank와 Nullity

4.1 Rank의 이해

💡 Rank는 행렬의 선형독립인 행 또는 열의 최대 개수입니다.

Rank의 성질

1. row rank = column rank
2. rank ≤ min(행의 수, 열의 수)
3. rank(AB) ≤ min(rank(A), rank(B))

계산 방법

1. 행사다리꼴로 변환
2. 영이 아닌 행의 개수가 rank

4.2 Nullity와 차원 정리

💡 Nullity는 영공간(null space)의 차원입니다.

차원 정리

n×m 행렬 A에 대해:

rank(A) + nullity(A) = n

의미

• rank: 출력 공간의 차원
• nullity: 입력 중 출력이 0이 되는 부분의 차원

📌 Note: 이러한 개념들은 머신러닝에서 데이터의 차원 축소나 특징 추출에 중요하게 사용됩니다.