整合學習——Adaboost
1 Star2 Stars3 Stars4 Stars5 Stars 給文章打分!
Loading...

1. Adaboost演算法基本原理

Adaboost:Adaptive Boosting(自適應增強)
自適應在於:前一個分類器分錯的樣本會被用來訓練下一個分類器。該方法對噪聲資料和異常資料很敏感。 但不容易出現過擬合。
每一輪訓練都更加關心分類錯誤的案例,增加分類錯誤的樣例權重,減少分類正確的樣例權重

這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

Adaboost 優點:
很好的利用了弱分類器進行級聯。
可以將不同分類演算法作為弱分類器
Adaboost 具有很好高的精度,不容易過擬合
相對於 bagging/Random Forest 演算法,Adaboost充分考慮到每個分類器的權重
Adaboost 缺點:
迭代次數也就是弱分類器數目不太好設定。
訓練比較長
預測效果依賴於弱分類器的選擇(Adaboost只是一個演算法框架)

2.Adaboost 程式碼

sklearn.ensemble.AdaBoostClassifier(
#弱分類器自身引數
base_estimator = DcisionTreeClassifier,     #選擇一個弱分類器
#boosting框架引數
n_estimators = 50,      #弱學習器 最大迭代次數
learning_rate = 1.0,    #弱學習器 的權重縮減係數(0-1)
algorithm = 'SAMME.R',  #弱分類器支援概率預測
random_state = None
)

相關文章

程式語言 最新文章