【編者按】概率論和線性代數(shù)是機(jī)器學(xué)習(xí)的兩大基石?？墒?，磚頭一樣厚的概率論教材讓許多人望而生畏。幸好數(shù)據(jù)科學(xué)家Jonny Brooks-Bartlett撰寫(xiě)了一系列零基礎(chǔ)入門概率論的簡(jiǎn)明教程。讓我們一起跟隨Jonny探索概率的世界吧。

這么些年來(lái)，我讀過(guò)很多關(guān)于概率論各個(gè)方面的文章，每篇文章看起來(lái)都需要不同級(jí)別的預(yù)備知識(shí)才能理解。我絕非這個(gè)領(lǐng)域的專家，但我覺(jué)得自己可以貢獻(xiàn)一系列文章。我希望這些文章可以解釋許多有關(guān)概率的概念。本文將是這個(gè)系列的第一篇，我將介紹一些基本定義。

定義和符號(hào)

通常概率至少和一個(gè)事件有關(guān)。這個(gè)事件可以是任何事。最簡(jiǎn)單的例子包括投骰和從口袋中抓取有顏色的球。在這些例子中，事件的結(jié)果是隨機(jī)的（投骰時(shí)無(wú)法確定最終的點(diǎn)數(shù)），所以表示這些事件的結(jié)果的變量稱為隨機(jī)變量（常常縮寫(xiě)為RV）。

我們常常想知道一個(gè)隨機(jī)變量取一個(gè)特定值的概率。例如，投擲一個(gè)均質(zhì)的6面骰時(shí)，點(diǎn)數(shù)是3的概率是多少？“均質(zhì)”一詞很重要，因?yàn)樗嬖V我們骰子落地時(shí)6個(gè)面（1、2、3、4、5、6）朝上的概率是相等的。從直覺(jué)上，你也許會(huì)說(shuō)答案是1/6。沒(méi)錯(cuò)！但我們?nèi)绾我詳?shù)學(xué)的形式表達(dá)這個(gè)呢？好，首先我們需要了解這里的隨機(jī)變量是與投骰相關(guān)的事件結(jié)果。通常，隨機(jī)變量用大寫(xiě)字母表示，這里，我們用X表示。所以，我們想知道X=3的概率。但是數(shù)學(xué)家寫(xiě)東西的時(shí)候可懶了，“概率是多少？”簡(jiǎn)寫(xiě)為字母P。因此，“當(dāng)我投一個(gè)均質(zhì)的6面骰時(shí)，點(diǎn)數(shù)為3的概率是多少？”在數(shù)學(xué)上記作“P(X=3)”。

概率的3種類型

我們上面介紹了隨機(jī)變量和概率的一些記法。然而，概率可能會(huì)變得非常復(fù)雜。也許首先需要理解的是概率有不同的類型。

邊緣概率（Marginal Probability） 事件A的邊緣概率為A發(fā)生的概率P(A)。例子：從一副撲克牌中抽出一張紅色的牌的邊緣概率是P(紅) = 0.5

聯(lián)合概率（Joint Probability） 兩個(gè)以上事件的交集的概率。我們可以用文氏圖（Venn Diagram）可視化這一概念，我們用兩個(gè)圓代表兩個(gè)事件，兩個(gè)圓重疊的部分即為聯(lián)合概率。（見(jiàn)下圖）事件A和B的聯(lián)合概率寫(xiě)作P(A ∩ B)。例子：從一副撲克牌中抽出一張紅色的4的概率為P(紅4) = 2/52 = 1/26。（一副撲克牌有52張牌，想抽到的是紅心4和方塊4）。后面我們會(huì)詳細(xì)討論這個(gè)例子。

條件概率（Conditional Probability） 條件概率是已知某（些）事件已經(jīng)發(fā)生的前提下，另一（些）事件發(fā)生的概率。已知事件B已經(jīng)發(fā)生時(shí)，事件A發(fā)生的條件概率寫(xiě)作P(A|B)。例子：已知我們抽到了一張紅色的牌，這張牌是4的概率為P(4|紅) = 2/26 = 1/13 （一副撲克牌有52張牌，26張紅色的，26張黑色的。現(xiàn)在因?yàn)槲覀円呀?jīng)抽到了一張紅色的牌，我們知道我們抽取的范圍是26張牌，因此第一個(gè)除數(shù)是26）。

文氏圖的重疊之處表示聯(lián)合概率，也就是事件A和事件B同時(shí)發(fā)生的概率。如果事件之間沒(méi)有重疊，那么聯(lián)合概率將是零。

連接概率類型：乘法法則

乘法法則是一個(gè)連接所有3種概率類型的美麗等式：

例子的進(jìn)一步解釋

有時(shí)候聯(lián)合概率和條件概率的區(qū)別相當(dāng)令人困惑，所以讓我們嘗試用抽撲克牌的例子來(lái)理解兩者的區(qū)別。

當(dāng)我們想要知道抽到一張紅色的4的撲克牌的概率（紅色和4的聯(lián)合概率）時(shí)，我想讓你想象一下，把所有52張牌面朝下放置，然后隨機(jī)選中一張。在這52張牌中，有2張是紅色的，同時(shí)數(shù)字是4（紅心4和方塊4）。所以聯(lián)合概率是2/52 = 1/26。

而當(dāng)我們想要知道已知抽中的牌是紅色的時(shí)候，抽中數(shù)字是4的牌的概率，即條件概率P(4|紅)時(shí)，我想讓你再想象一下有52張牌。不過(guò)，在隨機(jī)抽取一張牌之前，你給所有撲克牌排了個(gè)序，選中了所有26張紅色的牌。現(xiàn)在你把這26張牌面朝下放置，然后隨機(jī)選擇一張牌。同樣，這些紅色的牌中有兩張數(shù)字為4，所以條件概率是2/26 = 1/13

如果你偏好數(shù)學(xué)，那我們也可以轉(zhuǎn)而使用上面定義的乘法法則來(lái)計(jì)算聯(lián)合概率。我們首先整理一下等式，讓聯(lián)合概率P(A ∩ B)成為等式的主題（換句話說(shuō)，我們把P(A ∩ B) 放到等號(hào)的左邊，把其他項(xiàng)都放到等號(hào)的右邊）。重新整理后，我們得到P(A ∩ B) = P(A|B) ? P(B)。讓我們?cè)O(shè)定事件A是牌的數(shù)字為4的事件，事件B是牌的顏色是紅色的事件。如前所述，P(A|B) = 1/13，而P(B) = 1/2（一半的牌是紅色的）。因此P(A ∩ B) = 1/13 ? 1/2 = 1/26。

概率法則：“和”與“或”

和

在聯(lián)合概率中，我們已經(jīng)遇到過(guò)“和”的情況，然而，我們并不知道如何計(jì)算“和”的概率。所以讓我們來(lái)看一個(gè)例子。假設(shè)我們有兩個(gè)事件：事件A——拋擲一枚均質(zhì)的硬幣，事件B——投擲一枚均質(zhì)的骰子。我們也許會(huì)想知道骰子的點(diǎn)數(shù)是6而硬幣正面朝上的概率。所以，為了計(jì)算骰子點(diǎn)數(shù)為6和硬幣正面朝上的概率，我們可以把上面的乘法法則重新整理一下P(A ∩ B) = P(A|B) ? P(B)。我們知道事件A是丟硬幣而事件B是扔骰子。因此P(A|B)意味著“當(dāng)我們已經(jīng)扔出一枚點(diǎn)數(shù)為6的骰子時(shí)，拋出一枚正面朝上的硬幣的概率”是多少？”直覺(jué)告訴我們，丟硬幣與扔骰子無(wú)關(guān)。這兩個(gè)事件是獨(dú)立（independent）事件。在這個(gè)場(chǎng)景下，不管骰子的點(diǎn)數(shù)是多少，丟硬幣得到的結(jié)果都是一樣的。數(shù)學(xué)上我們將其表達(dá)為P(A|B) = P(A)。因此，當(dāng)事件相互獨(dú)立時(shí)，聯(lián)合概率為獨(dú)立事件的邊緣概率的乘積：P(A ∩ B) = P(A) ? P(B)。因此P(硬幣正面朝上和骰子點(diǎn)數(shù)為6) = P(A=正面, B=6) = 1/2 x 1/6 = 1/12。

注意上面的P(A=正面, B=6)，事件之間的逗號(hào)是聯(lián)合概率的簡(jiǎn)寫(xiě)。

值得注意的是，在現(xiàn)實(shí)世界的場(chǎng)景中，事件被假定為獨(dú)立的（即使事實(shí)上并非如此）。這主要是因?yàn)?，假定事件是?dú)立的大大簡(jiǎn)化了數(shù)學(xué)。附帶的好處是所得的結(jié)果通常很有用。在數(shù)據(jù)科學(xué)中，樸素貝葉斯可能是這方面最常見(jiàn)的例子。樸素貝葉斯通常能很好地處理文本分類問(wèn)題。

或

在“和”法則中，我們將單獨(dú)概率相乘。在“或”的場(chǎng)景下，我們需要將單獨(dú)概率相加，然后減去交集。在數(shù)學(xué)上，我們將其寫(xiě)作P(A ∪ B) = P(A) + P(B) - P(A ∩ B)。你可能會(huì)問(wèn)，為什么我們要這么做？好吧，讓我們回顧一下上文中的文氏圖。如果我們把A圓和B圓相加，那么其中的重疊部分算了兩次。因此，我們需要減去交集。

所以，讓我們把上面的例子改成尋找投出點(diǎn)數(shù)為6的骰子或扔出正面向上的硬幣的概率。這是P(硬幣正面向上或骰子點(diǎn)數(shù)為6) = P(A=正面 ∪ B=6) = 1/2 + 1/6 - 1/12 = 7/12

注意，我們使用并集符號(hào)∪表示“或”的場(chǎng)景。

有些情況下我們不必減去交集。如果文氏圖中的兩個(gè)圓沒(méi)有重疊部分，那我們自然就不用減去交集了。當(dāng)代表兩個(gè)事件的圓沒(méi)有重疊部分的時(shí)候，我們說(shuō)這兩個(gè)事件互斥（mutually exclusive）。這意味著兩者的交集為零，在數(shù)學(xué)上寫(xiě)作P(A ∩ B) = 0。讓我們看一個(gè)例子。假定我們想知道擲出點(diǎn)數(shù)為5或6的骰子的概率。這兩個(gè)事件是互斥的，因?yàn)槲覀儾豢赡芡瑫r(shí)擲出5點(diǎn)和6點(diǎn)。因此，它們?cè)谖氖蠄D中的圓互不重疊。所以，擲出5點(diǎn)或6點(diǎn)的概率等于1/6 + 1/6 = 1/3 （我們沒(méi)有減去任何東西）。

總結(jié)

謝謝你讀到這里。我希望上面的這些閑扯易于理解，即使你沒(méi)學(xué)到什么新東西。如果上面有什么不清楚的地方，或者我有什么錯(cuò)誤，請(qǐng)留言指出。在接下來(lái)的文章中我將介紹一些更高級(jí)的概念。本系列的下一篇文章中將通過(guò)一個(gè)例子解釋最大似然。