殘差

殘差resnet網路原理詳解

resnet在2015名聲大噪,而且影響了2016年DL在學術界和工業界的發展方向。下面是這個resnet的網路結構,大家先睹為快。   它對每層的輸入做一個reference, 學習形成殘差函式, 而不是學習一些沒有reference的函式。這種殘差函式更容易優化,能使網路層數大大加深。 我們知道 […]

梯度提升樹GBDT原理

1.模型 提升方法實際採用加法模型(即基函式的線性組合)與前向分佈演算法。以決策樹為基函式的提升方法稱為提升樹(boosting tree)。對分類問題決策樹是二叉分類樹,對迴歸問題決策樹是二叉決策樹。提升樹模型可以表示為決策樹的加法模型: 其中,表示決策樹;為決策樹的引數;M為樹的個數 2.學習過 […]