整合學習

《Hands-On Machine Learning with Scikit-Learn & TensorFlow》讀書筆記 第七章 整合學習

假設你去隨機問很多人一個很複雜的問題,然後把它們的答案合併起來。通常情況下你會發現這個合併的答案比一個專家的答案要好。這就叫做群體智慧。同樣的,如果你合併了一組分類器的預測(像分類或者回歸),你也會得到一個比單一分類器更好的預測結果。這一組分類器就叫做整合;因此,這個技術就叫做整合學習,一個整合學習 […]

機器學習演算法-Adaboost

Boosting是一類演算法的統稱,其基本思想很簡單,就是”三個臭皮匠頂個諸葛亮”:針對同一個訓練集訓練不同的分類器(弱分類器),然後把這些弱分類器集合起來,構成一個更強的最終分類器(強分類器)。常見的分類演算法,如kNN、線性分類器、決策樹等,均可經過特殊約束構造弱分類器。 弱弱聯合,變得更強!! […]

整合學習——Boosting之提升樹(Boosting tree)、梯度提升樹(GBDT)

提升樹是以迴歸樹為基本分類器的提升方法。以決策樹為基函式的提升方法稱為提升樹(boosting tree)。對分類問題決策樹是分類樹,對迴歸問題決策樹為迴歸樹。首先定義決策樹用公式表示。 提升樹演算法: 1.首先確定初始提升樹; 2.第二個提升樹 第三個提升樹 ……推出: 3.回憶一下CART迴歸樹 […]

整合學習——Boosting之Ada-boost

1.1.1. Boosting boosting是一個迭代的過程,用於自適應地改變訓練樣本的分佈,使得基分類器聚焦在那些很難分的樣本上。 boosting會給每個訓練樣本賦予一個權值,而且可以再每輪提升過程結束時自動地調整權值。開始時,所有的樣本都賦予相同的權值1/N,從而使得它們被選作訓練的可能性 […]

整合學習——Bagging

1.1.1. Bagging Bagging也叫自舉匯聚法(bootstrap-aggregating),是一種在原始資料集上通過有放回抽樣重新選出S個新資料集來訓練分類器的整合技術。也就是說這些新資料集是允許重複的。使用訓練出來的分類器集合來對新樣本進行分類,然後用多數投票或者對輸出求均值的方法統 […]

機器學習—-整合學習(Bagging和隨機森林)

整合學習 至此我們已經瞭解了許多機器學習的方法~但是都是單槍匹馬的作戰,這節我們討論的整合學習(ensemble learning)是通過構建並結合多個學習器來完成學習任務。 個體學習器可以是弱學習器,所謂弱學習器,就是學習器的正確率不用太高,大於50%即可。 根據個體學習器的生成方式,目前的整合學 […]

整合學習(Boosting,Bagging和隨機森林)

         今天看了一下整合學習部分,把相關知識點總結了一下。這個是無公式版,想看公式的話,請看《機器學習》–周志華  這本書。 通過結合多個學習器完成學習任務,也叫“多分類器系統”、“基於委員會的學習”等。如果整合在一起的學習器都是同一種學習器(例如都是神經網路或者決策樹),這種 […]