파이썬 머신러닝 완벽가이드3 분류 알고리즘(1) - 결정트리(Decision Tree) 분류(Classification)는 주어진 데이터의 Feature와 Label을 머신러닝 알고리즘에 주입하여 학습시킨 이후 생성된 모델을 통해서 비슷한 또는 새로운 데이터 값이 주어졌을 때 Label을 예측하는 것입니다. 특징 데이터 스케일링나 정규화 등의 데이터 가공의 영향이 매우 적다. 매우 쉽고 유연하지만 성능향상을 위해선 복잡한 구조(가지치기)를 거쳐야 하므로 과정합(Overfitting)의 위험도가 높다. 하지만, 앙상블기법을 통해서 과적합문제가 오히려 장점으로 작용한다. 앙상블기법은 많은 약한 학습기(Weak Learning)를 통해 발생하는 오류에 가중치를 업데이트하며 예측성능을 향상시킨 모델들(GBM, XGBoost, LightGBM 등) 따라서 결정트리는 앙상블기법에 좋은 약한 학습기가 .. 2021. 2. 19. 이상 데이터 검출(이진분류)을 위한 언더 샘플링과 오버 샘플링 데이터세트를 분리하는 것은 머신러닝의 중요한 단계이다. 모델을 훈련시키기 위해서는 학습데이터(Train dataset)과 테스트 데이터(Test dataset)으로 나누어 진행한다. 하지만 만약에 데이터가 불균형한 분포를 하고 있다면 얻고자 하는 값(Target Value)이 터무니 없이 적거나 많은 경우에는 샘플링을 통해서 데이터의 세트를 임의적으로 생성해야한다. 대표적인 방식으로 오버 샘플링(Oversampling)과 언더 샘플링(Undersampling)을 통해 적절한 학습데이터를 확보시킨다. 1. 언더 샘플링(Undersampling) 많은 레이블을 가진 데이터세트를 적은 레이블을 가진 데이터 세트의 크기와 같은 수준으로 샘플링하는 기법 2. 오버 샘플링(Oversampling) 적은 레이블을 가.. 2021. 2. 19. 분류 모델(Classification)의 성능지표 분류모델의 경우엔 다양한 성능지표가 존재하며 다른 수치로 평가를 해야한다. 이번시간에는 1)오차행렬 (Confusion Matrix), 2) 정확도(Accuracy), 3) 정밀도(Precision), 4) 재현율(Recall), 5) F1 Score 그리고 6) ROC-AUC 총 6개의 성능지표에 대해 알아보자. 1. 오차 행렬 (Confusion Matrix) 이진분류의 예측오류를 2x2 행렬로 보여주고 다른 유형의 예측오류를 나타내주는 지표 sklearn.metrics confusion_matrix() 2. 정확도 (Accuracy) 모델 예측 성능을 직관적으로 보여주는 지표 이진분류의 경우에는 정확도 수치로만 모델의 성능을 평가하기에는 위험이 따름 (데이터의 구성에 따른 왜곡 가능성) 특히 데이터.. 2021. 2. 18. 이전 1 다음
