Machine Learning4 경사하강법 (Gradient Descent) 신경망에서 가장 중추가 되는 개념인 역전파 알고리즘! 역전파 알고리즘을 통해서 가중치를 업데이트하는 과정중에 한 방법인 경사하강법에 대해서 간략히 정리하려고 한다. 경사하강법 (Gradient Descent)이란 무엇일까? 최적화(Optimizatoin)의 수학적 기법 중 하나로 기울기를 통해 찾고자하는 최저점을 점진적으로 찾아가는 방법이다. 수식으로는 다음과 같다. $$x_{i+1} = x_{i} - r *▽f(x_{i})$$ 경사하강법의 작동원리는 다음과 같다. 처음 시작점(Initial starting point)은 랜덤으로 시작하여 시작점의 기울기,▽f(x) 를 구하여 a) 기울기의 경사정도(절대값)과 b) 음 또는 양의 방향인지 확인 Learning rate 또는 step size라고 불리는 r.. 2021. 6. 10. 분류 알고리즘(1) - 결정트리(Decision Tree) 분류(Classification)는 주어진 데이터의 Feature와 Label을 머신러닝 알고리즘에 주입하여 학습시킨 이후 생성된 모델을 통해서 비슷한 또는 새로운 데이터 값이 주어졌을 때 Label을 예측하는 것입니다. 특징 데이터 스케일링나 정규화 등의 데이터 가공의 영향이 매우 적다. 매우 쉽고 유연하지만 성능향상을 위해선 복잡한 구조(가지치기)를 거쳐야 하므로 과정합(Overfitting)의 위험도가 높다. 하지만, 앙상블기법을 통해서 과적합문제가 오히려 장점으로 작용한다. 앙상블기법은 많은 약한 학습기(Weak Learning)를 통해 발생하는 오류에 가중치를 업데이트하며 예측성능을 향상시킨 모델들(GBM, XGBoost, LightGBM 등) 따라서 결정트리는 앙상블기법에 좋은 약한 학습기가 .. 2021. 2. 19. 이상 데이터 검출(이진분류)을 위한 언더 샘플링과 오버 샘플링 데이터세트를 분리하는 것은 머신러닝의 중요한 단계이다. 모델을 훈련시키기 위해서는 학습데이터(Train dataset)과 테스트 데이터(Test dataset)으로 나누어 진행한다. 하지만 만약에 데이터가 불균형한 분포를 하고 있다면 얻고자 하는 값(Target Value)이 터무니 없이 적거나 많은 경우에는 샘플링을 통해서 데이터의 세트를 임의적으로 생성해야한다. 대표적인 방식으로 오버 샘플링(Oversampling)과 언더 샘플링(Undersampling)을 통해 적절한 학습데이터를 확보시킨다. 1. 언더 샘플링(Undersampling) 많은 레이블을 가진 데이터세트를 적은 레이블을 가진 데이터 세트의 크기와 같은 수준으로 샘플링하는 기법 2. 오버 샘플링(Oversampling) 적은 레이블을 가.. 2021. 2. 19. 분류 모델(Classification)의 성능지표 분류모델의 경우엔 다양한 성능지표가 존재하며 다른 수치로 평가를 해야한다. 이번시간에는 1)오차행렬 (Confusion Matrix), 2) 정확도(Accuracy), 3) 정밀도(Precision), 4) 재현율(Recall), 5) F1 Score 그리고 6) ROC-AUC 총 6개의 성능지표에 대해 알아보자. 1. 오차 행렬 (Confusion Matrix) 이진분류의 예측오류를 2x2 행렬로 보여주고 다른 유형의 예측오류를 나타내주는 지표 sklearn.metrics confusion_matrix() 2. 정확도 (Accuracy) 모델 예측 성능을 직관적으로 보여주는 지표 이진분류의 경우에는 정확도 수치로만 모델의 성능을 평가하기에는 위험이 따름 (데이터의 구성에 따른 왜곡 가능성) 특히 데이터.. 2021. 2. 18. 이전 1 다음
