機器學習中的概率問題

機器學習的過程可以理解為計算機通過分析大量的數據獲得模型，并通過獲得的模型進行預測的過程。機器學習的模型可以有多種表示，例如線性回歸模型，SVM模型，決策樹模型，貝葉斯模型。

概率類型

在理解概率模型之前，首先要理解的各種概率類型所表示的確切含義。

1.先驗概率

某事件發生的概率。

2.條件概率

在某種條件下，事件A發生的概率，可以是基于歷史數據的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如P(x),P(y)。

3.后驗概率

條件概率的一種特殊情況，它限定了事件為隱變量取值(不可觀測)，而條件為觀測結果。

4.聯合概率

表示多個事件同時發生的概率。

5.似然概率

條件概率的一種，針對參數而言，意思是某參數(某事件發生的概率)取得某一值得概率。

正向過程（普通概率）：給定參數后，預測即將發生的事件的可能性，以投擲硬幣為例，已知一枚均勻硬幣，投擲出正反面的概率均為0.5(給出的參數)，求投擲兩次硬幣都朝上的概率。

逆向過程（似然概率）：給定事件發生的可能性，求解參數為某一值得可能性，以投擲硬幣為例，已知一枚均勻硬幣，投擲兩次都是正面朝上(條件)，求正面朝上的概率為0.5的可能性是多少。

求正面朝上概率為x的似然：

通過計算不同的正面朝上的概率的可能性，可以得到一條似然函數曲線：

似然函數曲線

最大似然概率，最大似然概率，在已知觀測數據的條件下，找到使似然概率最大的參數值作為真實的參數估計。例如從似然函數曲線中可以得知，當PH=1時，似然函數取得最大值。

預測模型的概率表示

在這里我們假設已有的數據為X，可能出現的結果為Y，每一個可能的結果Y都對應一個給出數據X下的條件概率。

機器學習最終得到的結果是實現該條件的概率的最大化。

決策函數和條件概率

決策函數都是很熟悉了，在線性回歸，SVM，神經網絡中使用的都是決策函數Y=f(X)，在貝葉斯分類中使用的是條件概率分布P(Y|X)。

條件概率分布模型可表示成決策函數

決策函數中隱含著條件概率

例如在線性回歸模型中，通過不斷訓練是誤差平方最小化，而誤差平方最小化是根據極大似然假設推導而出的。

所以依據決策函數得到的結果滿足極大似然概率，同時滿足最大條件概率。

判別式模型和生成式模型

實現上述過程，基于是否對P(x|y)直接操作來區分有兩種策略：

判別式模型：由數據直接對P(x|y)或決策函數f(x)進行建模，例如線性回歸模型，SVM，決策樹等，這些模型都預先制定了模型的格式，所需要的就是通過最優化的方法學到最優參數Θ即可。

生成式模型:這種策略并不直接對P(Y|X)進行建模，而是先對聯合概率分布P(X,Y)進行建模，然后依據貝葉斯公式P(Y|X)=P(X,Y)P(X)間接的得到我們所期望的模型P(Y|X)，這種策略最常見的算法就是我們接下來要介紹的貝葉斯分類器算法