유진정의 기록

#커널 기법SVM은 비선형적인 문제에 대해서도 해결책을 제시합니다. 선형적으로 분리되지 않는 데이터를 다룰 때 커널 기법을 활용하여 고차원 공간으로 변환함으로써 분류를 가능하게 합니다. 대표적인 커널에는 선형 커널, 다항식 커널, RBF 커널 등이 있습니다.그렇다면- 다항식 커널과 RBF 커널의 차이는 무엇인가? 각각의 정확한 개념과 둘 사이의 유사점, 차이점은 무엇인가?- 다항식 커널과 RBF 커널의 하이퍼파라미터 각각 d와 γ은 커질수록 오버피팅을 야기할 수 있다. 그 이유는 무엇인가?다항식 커널과 RBF 커널의 차이점다항식 커널과 RBF 커널은 근본적으로 다른 접근 방식을 가집니다. 다항식 커널($K(\mathbf{x}, \mathbf{y}) = (\mathbf{x}^T \mathbf{y} + ..

# 릿지 회귀와 라쏘 회귀릿지 회귀와 라쏘 회귀는 선형 회귀의 규제된 버전입니다. 릿지 회귀와 라쏘 회귀 모두 비용 함수에 규제항을 더하지만, 라쏘 회귀의 경우 L2 노름 대신 가중치 벡터의 L1 노름을 사용합니다. 그렇다면- 어떤 경우에 릿지 회귀가 유리하며 어떤 경우에 라쏘 회귀가 유리한가?- 데이터의 크기와 차원이 커질 경우 둘의 성능과 효율성은 어떻게 변화할까?- 엘라스틱넷은 둘의 어떠한 장점과 특징을 각각 가져가는가?# 미니배치 경사 하강법의 배치크기미니배치 경사 하강법은 각 스텝에서 전체 훈련 세트나 하나의 샘플을 기반으로 그레이디언트를 계산하는 것이 아니라 미니배치라 부르는 임의의 작은 샘플 세트에 대해 그레이디언트를 계산합니다. 이때 미니배치 경사 하강법의 배치 크기를 설정하는 것은 아주 ..

1. 분류 모델우리는 어떤 분류 모델을 사용한 것인지?이번 3장을 통해 우리는 이진분류, 다중분류를 사용해보았다. 그러나 분류를 수행하는데에 있어 우리는 어떤 분류 모델을 사용한 것인가?'''pythonfrom sklearn.linear_model import SGDClassifiersgd_clf = SGDClassifier(random_state=42)from sklearn.svm import SVC'''이진분류, 다중분류에서 사용한 모델 라이브러리는 이러하다. 이진분류에서는 이후 별도의 loss 함수를 지정해주지 않고 바로 진행했기 때문에 default값인 “loss = hinge” 즉 SVM이 사용된 것이다. 다중분류에서도 마찬가지로 SVC, Support Vector Classification을 ..

보호되어 있는 글입니다.

- 기존 Encoder-Decoder구조를 벗어난 Attention Mechanism만으로 구성된 Transformer 모델이 발표-  Transformer는 컴퓨터 비전분야에도 쓰이고 있으며 많은 변화를 가져온 모델Sequence Modeling- RNN과 LSTM 등- 실제로 State-Of-The-Art의 성능을 보이고 있었습니다.- Recurrent한 구조나 Encoder-Decoder 구조는 Memory와 Computation에서 많은 양을 요구하고 있어 한계 - RNN의 문제점은 긴 시퀀스를 다루는 데 한계가 있고, 각 단어의 정보를 이전에 보았던 정보만 고려하는 '근접성' 문제가 있음. - 제안된 구조 중 하나가 Encoder-Decoder 모델인 Seq2Seq입니다.- Encoder는 입력..

보호되어 있는 글입니다.