[KHUDA ML 기초 딥다이브] Week 02

# 릿지 회귀와 라쏘 회귀

릿지 회귀와 라쏘 회귀는 선형 회귀의 규제된 버전입니다. 릿지 회귀와 라쏘 회귀 모두 비용 함수에 규제항을 더하지만, 라쏘 회귀의 경우 L2 노름 대신 가중치 벡터의 L1 노름을 사용합니다. 

그렇다면

- 어떤 경우에 릿지 회귀가 유리하며 어떤 경우에 라쏘 회귀가 유리한가?
- 데이터의 크기와 차원이 커질 경우 둘의 성능과 효율성은 어떻게 변화할까?
- 엘라스틱넷은 둘의 어떠한 장점과 특징을 각각 가져가는가?

# 미니배치 경사 하강법의 배치크기

미니배치 경사 하강법은 각 스텝에서 전체 훈련 세트나 하나의 샘플을 기반으로 그레이디언트를 계산하는 것이 아니라 미니배치라 부르는 임의의 작은 샘플 세트에 대해 그레이디언트를 계산합니다. 이때 미니배치 경사 하강법의 배치 크기를 설정하는 것은 아주 중요한 문제입니다.

그렇다면

- 배치 크기가 모델 학습에 미치는 영향은 무엇일까?
- 어떤 경우에 큰 배치가 유리하고 어떤 경우에 작은 배치가 유리한가?
- 여러 배치 크기를 일일이 실험해보는 것 없이 효율적으로 최적화된 배치 크기를 찾는 방법은 없을까?

# 소프트맥스와 손실 함수

회귀 모델은 모델 별로 다양한 손실 함수가 사용됩니다. 소프트맥스 회귀의 경우 크로스 엔트로피 손실 함수를 사용하여 학습을 진행하는데요, 크로스 엔트로피는 추정된 클래스의 확률이 타깃 클래스에 얼마나 잘 맞는지 측정하는 용도로 종종 사용됩니다.

BCE = -1/N * Σ[i=1 to N](y_i * log(p_i) + (1-y_i) * log(1-p_i))

그렇다면

- 손실 함수에는 어떤 것들이 있을까?
- 크로스 엔트로피 손실 함수의 직관적인 해석은?
- 왜 소프트맥스와 크로스 엔트로피를 결합하는 것이 최적화에 유리한가?