免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

1） 最大似然估計(jì) MLE

給定一堆數(shù)據(jù)，假如我們知道它是從某一種分布中隨機(jī)取出來的，可是我們并不知道這個(gè)分布具體的參，即“模型已定，參數(shù)未知”。例如，我們知道這個(gè)分布是正態(tài)分布，但是不知道均值和方差；或者是二項(xiàng)分布，但是不知道均值。 最大似然估計(jì)（MLE，Maximum Likelihood Estimation）就可以用來估計(jì)模型的參數(shù)。MLE的目標(biāo)是找出一組參數(shù)，使得模型產(chǎn)生出觀測數(shù)據(jù)的概率最大：

其中

就是似然函數(shù)，表示在參數(shù)下出現(xiàn)觀測數(shù)據(jù)的概率。我們假設(shè)每個(gè)觀測數(shù)據(jù)是獨(dú)立的，那么有

為了求導(dǎo)方便，一般對目標(biāo)取log。 所以最優(yōu)化對似然函數(shù)等同于最優(yōu)化對數(shù)似然函數(shù)：

舉一個(gè)拋硬幣的簡單例子。 現(xiàn)在有一個(gè)正反面不是很勻稱的硬幣，如果正面朝上記為H，方面朝上記為T，拋10次的結(jié)果如下：

求這個(gè)硬幣正面朝上的概率有多大？

很顯然這個(gè)概率是0.2?，F(xiàn)在我們用MLE的思想去求解它。我們知道每次拋硬幣都是一次二項(xiàng)分布，設(shè)正面朝上的概率是

，那么似然函數(shù)為：

x=1表示正面朝上，x=0表示方面朝上。那么有：

求導(dǎo)：

令導(dǎo)數(shù)為0，很容易得到：

也就是0.2 。

2） 最大后驗(yàn)概率  MAP

以上MLE求的是找出一組能夠使似然函數(shù)最大的參數(shù)，即

。 現(xiàn)在問題稍微復(fù)雜一點(diǎn)點(diǎn)，假如這個(gè)參數(shù)有一個(gè)先驗(yàn)概率呢？比如說，在上面拋硬幣的例子，假如我們的經(jīng)驗(yàn)告訴我們，硬幣一般都是勻稱的，也就是=0.5的可能性最大，=0.2的可能性比較小，那么參數(shù)該怎么估計(jì)呢？這就是MAP要考慮的問題。 MAP優(yōu)化的是一個(gè)后驗(yàn)概率，即給定了觀測值后使概率最大：

把上式根據(jù)貝葉斯公式展開：

我們可以看出第一項(xiàng)

就是似然函數(shù)，第二項(xiàng)就是參數(shù)的先驗(yàn)知識(shí)。取log之后就是：

回到剛才的拋硬幣例子，假設(shè)參數(shù)

有一個(gè)先驗(yàn)估計(jì)，它服從Beta分布，即：

而每次拋硬幣任然服從二項(xiàng)分布：

那么，目標(biāo)函數(shù)的導(dǎo)數(shù)為：

求導(dǎo)的第一項(xiàng)已經(jīng)在上面MLE中給出了，第二項(xiàng)為：

令導(dǎo)數(shù)為0，求解為：

其中，

表示正面朝上的次數(shù)。這里看以看出，MLE與MAP的不同之處在于，MAP的結(jié)果多了一些先驗(yàn)分布的參數(shù)。

 

補(bǔ)充知識(shí)： Beta分布

Beat分布是一種常見的先驗(yàn)分布，它形狀由兩個(gè)參數(shù)控制，定義域?yàn)閇0,1]

Beta分布的最大值是x等于

的時(shí)候：

所以在拋硬幣中，如果先驗(yàn)知識(shí)是說硬幣是勻稱的，那么就讓

。 但是很顯然即使它們相等，它兩的值也對最終結(jié)果很有影響。它兩的值越大，表示偏離勻稱的可能性越?。?/span>

 

 

原創(chuàng)博客，轉(zhuǎn)載請注明出處 Leavingseason http://www.cnblogs.com/sylvanas2012/p/5058065.html