20221116 = Boosting tree 간단정리

Boosting Tree

 

Bagging과 Boosting의 차이?

 

→Bagging : 데이터 셋 모델마다 독립적, 병렬적, 훈련세트에서 중복을 허용해서 샘플링하여 여러개 모델을 훈련 하는 앙상블 방식

→Boosting : 앞 모델이 데이터 셋을 정해준다, 직렬적, 약한 모델을 여러개 연결해서 강한 모델을 만들어 내기 위한 앙상블 방식

→Epoch = 학습횟수를 의미한다. ( = n_estimators )

 

 

성능에 고려 없이 GBM에서 훈련시간을 줄이기 위해서는?

 

→Learing_rate을 올려 사용한다.

 

GBM (Gradient Boosting Tree) 은 랜덤 포레스트와 다르게 무작위성이 없다.

 

→순차적으로 데이터를 추출하기 때문이다.

 

GBM의 특징?

 

→데이터의 스케일에 구애받지 않는다.

→매개변수를 잘 조정해야 하고 훈련 시간이 길다.

→고차원의 희소한 데이터에 잘 작동하지 않는다.

 

출처 : 멋쟁이사자처럼 AI7기 강의자료