[머신러닝] Boosting, GradientBoosting, 분류 알고리즘 정리

 Boosting 

: 여러 개의 분류기가 순차적으로 학습을 수행하되, 앞에서 학습한 분류기가 예측이 틀린 데이터에 대해서 올바르게 예측할 수 있도록 

다음 분류기에게 가중치(weight)를 부여하면서 학습과 예측을 진행.

분류기에 약한 학습기를 사용

약한 학습기 : 예측 성능이 상대적으로 떨어지는 학습 알고리즘, 결정 트리가 좋은 예 

 

GradientBoosting

주요 매개 변수 ( 하이퍼 파라미터 )

 

AdaBoost ( Adaptive Boost )

잘못 분류한 샘플에 가중치를 높여서 다음 모델을 훈련 시킴.

 

 

XGBoost (extreme gradient boosting)

- GBM을 개선하여 속도를 높인 것 ( 병렬 수행 및 다양한 기능으로 )

- 일반적인 GBM에 비해 수행 시간이 빠른 것이지 다른 머신러닝 알고리즘에 비해서 빠르다는 의미는 아님 ( 랜덤 포레스트 )

- 과적합 방지

 

 

 분류 머신러닝 알고리즘 정리 

나이브 베이즈 : 베이즈 통계와 생성 모델에 기반

로지스틱 회귀 : 독립변수와 종속변수의 선형 관계성에 기반

결정 트리 : 데이터 균일도에 따른 규칙 기반

서포트 벡터 머신 : 개별 클래스 간의 최대 분류 마진을 효과적으로 찾아줌. 

최소 근접 알고리즘 : 근접 거리를 기준

앙상블 : 서로 다른 ( 또는 같은 ) 머신러닝 알고리즘을 결합

신경망 : 심층 연결 기반