從頭理解softmax,筆記

損失函式

指數損失函式(Adaboost)

平方差損失函式:yolo

交叉熵損失函式:softmaxloss

線性分類:y=w0x0 w1x1 … wnxn=w轉置x

啟用函式sigmoid函式:(作用是為了引入非線性因素,提高非線性分類能力)。

得到Logistics假設函式:,非線性二分類。

對於輸入x分類結果為類別1和類別0的概率分別為:

P(y = 1 | x;θ)= hθ(x)

P(y = 0 | x;θ)= 1−hθ(x)

通過極大似然估計推匯出損失函式:

Softmax是將logistics迴歸的二分類問題變為K分類問題,

Softmax每個類別的假設函式組成的總體假設函式:

每一個樣本估計其所屬的類別的概率(softmax score)為:

極大似然估計推匯出損失函式:

使用梯度下降法求出最優的一組引數。

Softmax,在實際應用中,為了使演算法實現更簡單清楚,往往保留所有引數 ,而不任意地將某一引數設定為 0。但此時我們需要對代價函式做一個改動:加入權重衰減。權重衰減可以解決 softmax 迴歸的引數冗餘所帶來的數值問題。

損失函式為:

使用梯度下降法求出最優的一組引數。