LR模型的原理和公式推導

介紹

Logistic迴歸演算法,名字雖帶有迴歸,但其實是一個分類模型。
輸出Y=1的對數機率是由輸入x的線性函式表示的模型,直接對分類的可能性進行建模,並不是直接對分類的結果(0或者1)進行建模:
假設一個樣本屬於正樣本的概率為p,則:
這裡寫圖片描述
LR模型是線上性迴歸的基礎上,把特徵進行線性組合,再把組合的結果通過一層sigmoid函式對映成結果是1或是0的概率。

邏輯斯蒂迴歸模型的特點:

一個事件的機率是指該事件發生的概率和該事件不發生的概率的比值,如果事件發生的機率為p,那麼該事件的機率是:p/(1-p),該事件的對數機率是:
這裡寫圖片描述
化簡上式,可以得到logit(p) = w*x,說明輸出Y=1的對數機率是輸入x的線性函式,或者說Y=1的對數機率是由輸入x的線性函式表示的模型。
目標函式是最大化似然函式,假設樣本之間是相互獨立的,那麼整個樣本集生成的概率即為所有樣本生成概率的乘積:
這裡寫圖片描述
在上面的結果中取對數,可以得到:
這裡寫圖片描述
採用梯度上升法,使似然函式達到漸漸逼近極值,對引數這裡寫圖片描述採用分步求導的方式對上面的每一步進行求導,再將求導之後的結果連乘以後得到上式結果。
因此梯度迭代的公式為:

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

總結:

邏輯迴歸模型是一個分類模型,対生成的結果是0或1的概率進行建模,通過採用最大似然估計的方法最大化似然函式,採用梯度上升的方法得到使似然函式最大的引數。

參考連結:
LR推導
機器學習 LR中的引數迭代公式推導——極大似然和梯度下降
http://blog.csdn.net/cyh_24/article/details/50359055