假設(shè)某市流行一種病，發(fā)病率是0.1% 。在某地的醫(yī)院中有一個(gè)神醫(yī)，特別擅長(zhǎng)診斷該病。神醫(yī)做出正確判斷的概率是99%。（神醫(yī)并不清楚發(fā)病率，做出正確判斷的概率實(shí)在實(shí)驗(yàn)室得出來(lái)的。對(duì)于檢查是否患病的人，他的正確率不變。）有一次你去看病，神醫(yī)診斷說(shuō)你有這個(gè)病。請(qǐng)問(wèn)你真正有這個(gè)病的概率是多少？
圖1 神醫(yī)
圖2 生病的你
大家不妨在往下讀之前可以先自己想想自己的思路，看看自己想的和我后面寫(xiě)的有沒(méi)有相通之處。
問(wèn)題作者借此題說(shuō)了他的貝葉斯模型的思路，并認(rèn)為這樣想理所當(dāng)然。我看了以后，覺(jué)得貝葉斯確實(shí)是一個(gè)流行的好想法，但是卻并不是唯一想法，聯(lián)想到一些其他思路和對(duì)模糊的題意理解方式，我認(rèn)為有三種學(xué)派和理解以及四個(gè)不同答案，而且，不僅答案值不一樣，他們相互之間并沒(méi)有可比性，因?yàn)樗麄儗?duì)題中要求的答案的定義都完全不同。
從中我們會(huì)回顧從概率統(tǒng)計(jì)到機(jī)器學(xué)習(xí)的一些經(jīng)典模型，希望讀之能有所收獲。
頻率學(xué)派
頻率學(xué)派認(rèn)為，自然界的某些性質(zhì)會(huì)保持不變，這些性質(zhì)被叫作“參數(shù)”的東西記錄下來(lái)，這個(gè)玩意的變量特性是常數(shù)，往往是未知而不變的。而這些性質(zhì)唯一的觀(guān)測(cè)方式就是由帶有這個(gè)性質(zhì)的系統(tǒng)產(chǎn)生的變量。比如人群的身高期望，硬幣正面向上的概率等，通過(guò)抽一群人測(cè)身高，扔一堆硬幣，我們可以就可以比較準(zhǔn)確的計(jì)算人群身高和硬幣正面向上概率這兩個(gè)性質(zhì)。
問(wèn)題來(lái)了，到底測(cè)多少人身高算夠？扔多少次硬幣算夠？能夠準(zhǔn)確地測(cè)量這個(gè)參數(shù)？
實(shí)踐上，對(duì)于這種一元變量，測(cè)個(gè)幾十上百次基本上就比較穩(wěn)定，可以近似當(dāng)成真值了。而對(duì)于復(fù)雜問(wèn)題，這種平常經(jīng)驗(yàn)卻是無(wú)效的。比如，你要抽樣多少個(gè)對(duì)話(huà)系統(tǒng)的答案，多少query的搜索結(jié)果，所得統(tǒng)計(jì)結(jié)論才能在多少置信度下提升多少？
頻率學(xué)派最重要的思考就是把置信度計(jì)算，假設(shè)檢驗(yàn)語(yǔ)言這一套理論說(shuō)清楚了，而它的大前提是每個(gè)量：哪個(gè)是參數(shù)，是哪個(gè)分布的什么參數(shù)，哪個(gè)是變量，是哪個(gè)分布產(chǎn)生的變量，要定義得一清二楚。在這個(gè)條件下，我們可以計(jì)算一般意義的點(diǎn)估計(jì)，置信區(qū)間估計(jì)，這兩種套路給了我們兩種回答問(wèn)題的模式，對(duì)應(yīng)解決問(wèn)題到兩個(gè)程度：
點(diǎn)估計(jì)，給出估計(jì)值以及性質(zhì)：參數(shù)的極大似然/矩估計(jì)值是X，具有無(wú)偏/有效/一致等興致：
置信區(qū)間估計(jì)，給出置信區(qū)間以及置信度：參數(shù)在A的置信度下的置信區(qū)間是[X, Y]；
前者的估計(jì)值往往就近似地拿著去做推斷了，但是嚴(yán)格來(lái)看還要做復(fù)雜的推斷結(jié)果的分布計(jì)算以及置信度計(jì)算等；而后者一般就讓人聽(tīng)著舒服一下，覺(jué)得還比較可信和范圍接受就完事了，因?yàn)椴恢谰唧w值為多少，不好再往下推演了。
但是統(tǒng)計(jì)學(xué)最基本的，還需要能回答一些老板關(guān)于是還是否的問(wèn)題：
人口平均身高到底超過(guò)170沒(méi)有？硬幣向上的概率超過(guò)0.6沒(méi)有？
其實(shí)這些問(wèn)題和參數(shù)值一樣，都不可以直接觀(guān)測(cè)，偉大的頻率學(xué)派學(xué)者發(fā)明了假設(shè)檢驗(yàn)語(yǔ)言，在上面基礎(chǔ)上，能對(duì)任何這類(lèi)相關(guān)的判斷類(lèi)問(wèn)題給出答案，并給出所謂檢驗(yàn)水平來(lái)說(shuō)明答案置信程度（p值法）；
p值法那個(gè)p值啊，就是一個(gè)評(píng)價(jià)指標(biāo)而已，用的是超出假設(shè)范圍的隨機(jī)變量的可能性大小。
所以，整個(gè)頻率學(xué)派留下來(lái)的精華就是：給出性質(zhì)不錯(cuò)的參數(shù)值，不信就給個(gè)區(qū)間和置信度，硬是要我下結(jié)論，就假設(shè)檢驗(yàn)好了。而做這些事情的前提是定義清楚參數(shù)，變量和分布形式。頻率學(xué)派就是這么一套方法論和建模思路。
在本問(wèn)題上實(shí)踐一下這個(gè)建模思路：如果有病與否是個(gè)確定的未知參數(shù)，那要么通過(guò)對(duì)該參數(shù)下產(chǎn)生的樣本來(lái)估計(jì)，要么有人直接告訴我參數(shù)值為多少，或者置信度為何，就像上帝視角一樣給出已知條件。本問(wèn)題中，并沒(méi)有估計(jì)樣本，這個(gè)參數(shù)值也和發(fā)病率沒(méi)有任何關(guān)系，僅能把醫(yī)生的判斷作為該未知參數(shù)值的1的置信度，即：
結(jié)論一：
根據(jù)醫(yī)生的說(shuō)法，有病與否這個(gè)參數(shù)為1的置信度為0.99。
這個(gè)置信度，和扔了一堆硬幣樣本算的硬幣正面向上概率在一個(gè)區(qū)間X內(nèi)的置信度為Y是一個(gè)意思，只不過(guò)這里的向上概率這個(gè)[0, 1]范圍的變量為估計(jì)參數(shù)，問(wèn)題中有病與否這個(gè)bool變量為估計(jì)參數(shù)。
自然地，這里還有另外一個(gè)思路：得病概率是未知參數(shù)，得病結(jié)論是唯一的變量。此時(shí)，這個(gè)變量并不可觀(guān)測(cè)，頻率學(xué)家眼里，醫(yī)生這種不能打保票的話(huà)是不予采納的！那得了，這個(gè)參數(shù)相關(guān)分布的變量，得沒(méi)得病這件事沒(méi)有絕對(duì)的觀(guān)測(cè)，咋辦，不怕啊，上帝告訴我了發(fā)病率啊，這個(gè)不就是適用每個(gè)人的得病概率啊！
結(jié)論二：
根據(jù)發(fā)病率信息，有病與否的概率值為0.001。
怎么樣，是不是感覺(jué)頻率學(xué)派有點(diǎn)生硬，無(wú)法融合多方信息，非黑即白，結(jié)論邏輯通順但是似乎并不那么好用？
正式這樣，貝葉斯學(xué)派才體現(xiàn)它的價(jià)值。
貝葉斯學(xué)派
貝葉斯同學(xué)和他的信徒們清晰地意識(shí)到了客觀(guān)世界之復(fù)雜，變量直接的影響關(guān)系往往順序地有好幾個(gè)層次，并不像一般地參數(shù)-隨機(jī)變量這樣單一。而他們的具體建模方式是：一個(gè)對(duì)象既可以作為某個(gè)分布的隨機(jī)變量結(jié)果，也可以作為下一個(gè)分布的參數(shù)或到此終止。至于有多少層次和相互的因果關(guān)系法則，這要看具體的實(shí)際問(wèn)題假設(shè)來(lái)構(gòu)建，頻率學(xué)派的一層模型僅僅是最簡(jiǎn)單的特例。我們能夠處理估計(jì)任何參數(shù)值的問(wèn)題（往往是極大似然估計(jì)）以及某變量在所有信息條件下的分布問(wèn)題。
在這里，根據(jù)題意，構(gòu)建貝葉斯DAG（有向無(wú)環(huán)圖）如下：
P1: 得病概率，這里即是發(fā)病率，為已知參數(shù)，P1 = 0.001；
X: 是否得病的隨機(jī)變量，服從伯努利分布：X ~ B(1, P1)；
Y: 神醫(yī)的診斷結(jié)果，依據(jù)題意，有：(Y==X) ~ B(1, P2)，P2 = 0.99；
在這個(gè)模型中，所有的參數(shù)都是已知的，不需要做參數(shù)估計(jì)，一切隨機(jī)變量的分布就都可以計(jì)算。
故原題所求即為：
結(jié)論三：
根據(jù)發(fā)病率先驗(yàn)和神醫(yī)診斷后驗(yàn)判斷，由貝葉斯公式，得得病與否的隨機(jī)變量的后驗(yàn)分布仍然為伯努利分布，其分布參數(shù)約為0.090。
香農(nóng)信息學(xué)派
這里泛指熵的引入，以及無(wú)向圖模型的系統(tǒng)描述方法等一系列成果。
香農(nóng)同學(xué)在他的碩士研究論文中奠定了直到今天還在沿用的信息論基礎(chǔ)，在統(tǒng)計(jì)學(xué)中的意義即是，統(tǒng)一了市面上給出的幾乎所有的分布表達(dá)式的共同源頭：最大熵模型，并且逐漸總結(jié)出了指數(shù)分布族這樣的工具方便地對(duì)任意分布形式進(jìn)行建模。
貝葉斯的有向圖模型的問(wèn)題是，無(wú)論是否存在，必須假定一個(gè)變量間的順序生成過(guò)程，這個(gè)在一些時(shí)空系統(tǒng)中大體成立，可是你要硬說(shuō)是因?yàn)轶w重重所以身高高還是反過(guò)來(lái)成立，就怎么說(shuō)都有點(diǎn)牽強(qiáng)了。強(qiáng)行構(gòu)造的因果一定會(huì)因?yàn)楹驼鎸?shí)生成過(guò)程不符合導(dǎo)致最后的模型效果的偏離啊。有些變量之間是看不見(jiàn)摸不著的相關(guān)關(guān)系，并沒(méi)有誰(shuí)先誰(shuí)后的因果關(guān)系?。?/span>
于是，我們把所有要研究的認(rèn)為重要的變量列出來(lái)，按照認(rèn)定其有無(wú)直接關(guān)系，即在其他變量都已知的條件下，二這是否獨(dú)立這件事的答案來(lái)決定是否連上一條無(wú)向邊，最后找到最大團(tuán)計(jì)算勢(shì)函數(shù)，根據(jù)Hammersley-Clifford定理，得到最后的分布表達(dá)式。
我覺(jué)得，這些知識(shí)的大致邏輯是這樣的：無(wú)向圖提供了一種表達(dá)關(guān)系的方法（因子圖也是，有向圖也是，甚至還包括工程上CRF模型用的特征模版也是如此。），最大熵模型是一個(gè)給定約束條件下求解最佳分布的準(zhǔn)則，執(zhí)行的的最大信息熵目標(biāo)，達(dá)到的是平均來(lái)看最小的和真實(shí)分布的交叉熵。而Hammersley-Clifford定理，則恰是在無(wú)向圖方式限定函數(shù)的變量關(guān)聯(lián)方式條件下最大熵模型的結(jié)論形式罷了。
回到我們研究的問(wèn)題，如果用無(wú)向圖模型來(lái)理解，其圖示應(yīng)該是這樣的：
字母含義同貝葉斯模型，且嚴(yán)格來(lái)說(shuō)，P1，P2是兩個(gè)X，Y分布的約束，而不再是一個(gè)分布的固定參數(shù)了。
其對(duì)應(yīng)的最大熵模型為：
注意，最后求解答案所用的公式是條件概率公式而已，并不是貝葉斯模型，貝葉斯模型的核心的有向圖加條件概率公式。
這里所選取的特征僅有兩個(gè)，而且都是給定了特征函數(shù)期望值的，由于沒(méi)有真正的樣本，所以沒(méi)有很好的條件去使用其他的特征了，否則這個(gè)約束下的最優(yōu)化問(wèn)題就沒(méi)法給出一個(gè)簡(jiǎn)單的唯一可行解，也是最優(yōu)解了。
結(jié)論四：
根據(jù)最大熵模型準(zhǔn)則，在題設(shè)條件都成立的條件下，得到的最大熵模型的解，由條件概率公式得，此時(shí)得病概率為0.910。
總結(jié)
哈哈，一道這么簡(jiǎn)單的問(wèn)題搞出四個(gè)大相徑庭的答案來(lái)了，有必要么，到底信誰(shuí)的呢？其實(shí)啊，這些結(jié)論都是在各自的理論下站的住腳的，也是完全不同的世界觀(guān)，方法論的推演結(jié)果，雖然都是一個(gè)數(shù)，但他們并無(wú)可比性，所代表的含義分別為參數(shù)置信度，變量服從分布的參數(shù)值，后驗(yàn)概率以及最大熵的解下的條件概率。他們互相井水不犯河水。
這些思考不能幫助你迅速解決這個(gè)問(wèn)題，但是能幫助提升你的思維能力到一個(gè)新的檔次。
對(duì)以上的內(nèi)容大家覺(jué)得有沒(méi)有補(bǔ)充的？歡迎在文末留言討論！
好了，今天的數(shù)學(xué)魔術(shù)分享就到這里，希望各位客官能夠喜歡！這里是MatheMagician，有你要的奇跡！
聯(lián)系客服
