統(tǒng)計學習方法第四章貝葉斯估計題
參考1:https://blog.csdn.net/bumingqiu/article/details/73397812
參考2:https://blog.csdn.net/bitcarmanlee/article/details/82156281
一、第一個公式:
其中,
為第
種類別,共有
種;
為樣本數(shù)目;
證:
設(shè)
,且
服從參數(shù)為
的Dirichlet分布(先驗分布),則有概率質(zhì)量函數(shù)(即離散變量的概率密度函數(shù))如下:
;
(2)式可改寫成:
設(shè)
為各類別的觀測數(shù),有:
則根據(jù)觀測數(shù)據(jù)對先驗分布改進如下:
其中,
,又
是與
無關(guān)的量,故(5)式可寫為:
設(shè)
服從多項分布,則有:
(7)式可改寫成:
將(3)式和(8)式帶入(6)式,可得:
因此得出結(jié)論,
的后驗概率
服從參數(shù)為
的Dirichlet分布:
故
的期望有(Dirichlet分布期望公式):
即有:
故原式得證。
二、第二個公式
其中,
表示第
個樣本的第
維特征值,
表示第
維特征可取值個數(shù),
表示特征維數(shù),
表示類別數(shù),
為樣本數(shù);
證明:
參考第一個公式的證明,設(shè):
,且
服從參數(shù)為
的Dirichlet分布(先驗分布),則有概率質(zhì)量函數(shù)(即離散變量的概率密度函數(shù))如下:
(2)是可改寫為:
設(shè)
為第
維度
種特征值的觀測數(shù),有:
根據(jù)觀測數(shù)據(jù)對(3)式進行改進如下:
其中,
,又
是與
無關(guān)的量,故(5)式可寫為:
設(shè)
服從多項分布,則有:
(7)式可改寫為:
將(3)式和(8)式帶入(6)式,則有:
因此得出結(jié)論,
的后驗概率
服從參數(shù)為
的Dirichlet分布:
故
的期望有(Dirichlet分布期望公式):
即有:
于是,原式得證。
本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請
點擊舉報。