機器學習中的概率問題
目錄

前言

機器學習的過程可以理解為計算機通過分析大量的資料獲得模型,並通過獲得的模型進行預測的過程。機器學習的模型可以有多種表示,例如線性迴歸模型,SVM模型,決策樹模型,貝葉斯模型。

 

概率型別

在理解概率模型之前,首先要理解的各種概率型別所表示的確切含義。

1.先驗概率

某事件發生的概率。

2.條件概率

在某種條件下,事件A發生的概率,可以是基於歷史資料的統計,可以由背景常識得出,也可以是人的主觀觀點給出。一般都是單獨事件概率,如P(x),P(y)。

3.後驗概率

條件概率的一種特殊情況,它限定了事件為隱變數取值(不可觀測),而條件為觀測結果。

4.聯合概率

表示多個事件同時發生的概率。

5.似然概率

條件概率的一種,針對引數而言,意思是某引數(某事件發生的概率)取得某一值得概率。

正向過程(普通概率):給定引數後,預測即將發生的事件的可能性,以投擲硬幣為例,已知一枚均勻硬幣,投擲出正反面的概率均為0.5(給出的引數),求投擲兩次硬幣都朝上的概率。

逆向過程(似然概率):給定事件發生的可能性,求解引數為某一值得可能性,以投擲硬幣為例,已知一枚均勻硬幣,投擲兩次都是正面朝上(條件),求正面朝上的概率為0.5的可能性是多少。

求正面朝上概率為x的似然:

通過計算不同的正面朝上的概率的可能性,可以得到一條似然函式曲線:

似然函式曲線

 

最大似然概率,最大似然概率,在已知觀測資料的條件下,找到使似然概率最大的引數值作為真實的引數估計。例如從似然函式曲線中可以得知,當PH=1時,似然函式取得最大值。

預測模型的概率表示

在這裡我們假設已有的資料為X,可能出現的結果為Y,每一個可能的結果Y都對應一個給出資料X下的條件概率。

機器學習最終得到的結果是實現該條件的概率的最大化。

 

決策函式和條件概率

決策函式都是很熟悉了,線上性迴歸,SVM,神經網路中使用的都是決策函式Y=f(X),在貝葉斯分類中使用的是條件概率分佈P(Y|X)。

 

條件概率分佈模型可表示成決策函式

例如一種二分類器,.              

     

決策函式中隱含著條件概率

例如線上性迴歸模型中,通過不斷訓練是誤差平方最小化,而誤差平方最小化是根據極大似然假設推導而出的。

所以依據決策函式得到的結果滿足極大似然概率,同時滿足最大條件概率。

 

 

判別式模型和生成式模型

實現上述過程,基於是否對P(x|y)直接操作來區分有兩種策略:

判別式模型:由資料直接對P(x|y)或決策函式f(x)進行建模,例如線性迴歸模型,SVM,決策樹等,這些模型都預先制定了模型的格式,所需要的就是通過最優化的方法學到最優引數Θ即可。

生成式模型:這種策略並不直接對P(Y|X)進行建模,而是先對聯合概率分佈P(X,Y)進行建模,然後依據貝葉斯公式P(Y|X)=P(X,Y)P(X)間接的得到我們所期望的模型P(Y|X),這種策略最常見的演算法就是我們接下來要介紹的貝葉斯分類器演算法