最近編寫了Fisher判別的相關(guān)代碼時,需要與已有軟件比照結(jié)果以確定自己代碼的正確性,于是找到了安裝方便且免費的R。這里把R中進行Fisher判別的方法記錄下來。
不嚴謹?shù)峭ㄋ椎恼f法,判別分析(Discriminant Analysis)是一種多元(多個變量)統(tǒng)計分析方法,它根據(jù)樣本的多個已知變量的值對樣本進行分類的方法。一般來說,判別分析由兩個階段構(gòu)成——學(xué)習(xí)(訓(xùn)練)和判別。在學(xué)習(xí)階段,給定一批已經(jīng)被分類好的樣本,根據(jù)它們的分類情況和樣本的多個變量的值來學(xué)習(xí)(訓(xùn)練)得到一種判別方法;在判別階段用前一階段得到的判別方法對其他樣本進行判別。
Fisher判別(Fisher Discrimination Method)又被稱為線性判別(LDA,Linear Discriminative Analysis),是判別分析的一種,歷史可以追溯到1936年。它的核心思想是將多維數(shù)據(jù)(多個變量)投影(使用線性運算)到一維(單一變量)上,然后通過給定閾值將樣本根據(jù)投影后的單一變量進行分類。
Fisher判別的學(xué)習(xí)(訓(xùn)練)階段,就是找到合適的投影方式,使得對于已經(jīng)被分類好的樣本,同一類的樣本被投影后盡量扎堆。具體的方法有一點點兒繁瑣,有興趣可以參考 這里 。學(xué)習(xí)階段的結(jié)果是找到一系列的系數(shù)(Coeffcient),構(gòu)成形如
y=a1 * x1 + a2 * x2 + a3 * x3 + ... + an * xn其中:a1,a2,... an是系數(shù),x1,x2,... ,xn是變量值。
的判別式和閾值。而判別階段可以根據(jù)這個判別式計算出y,并根據(jù)閾值將樣本進行分類。
R中使用Fisher判別說起來很簡單,但是我當(dāng)初也放狗搜索了不短的時間才搞明白如何使用。
首先,它在R里不叫Fisher,用Fisher搜索多半誤入歧途。在R中,它叫LDA(Linear Discriminative Analysis)。
其次,它存在于一個叫MASS的包里。在Ubuntu 13.10中使用:
sudo apt-get install r-base
這樣安裝以后默認就有,然后使用下面語句引用這個包:
> library(MASS)
再次,引用了MASS包以后就可以使用lda命令了:
> params <- lda(y~x1+x2+x3, data=d)
其中,第一個參數(shù)是判別式的形式,第二個參數(shù)是用來訓(xùn)練的樣本數(shù)據(jù)。lda命令執(zhí)行后,會輸出構(gòu)成判別式的各個系數(shù)。
最后,使用predict命令對未分類的樣本進行判別。
> predict(params, newdata)
其中,第一個參數(shù)是上一階段lda命令的結(jié)果,第二個參數(shù)是用來分類的樣本數(shù)據(jù)。自此,整個fisher判別過程完成。
準備好兩個csv文件,用來訓(xùn)練的已分類數(shù)據(jù)叫l(wèi)earn.csv,用來判別的未分類數(shù)據(jù)叫infer.csv。learn.csv共有六列構(gòu)成,其第一行分別為Band1,Band2,Band3,Band4, Band5, Class,分別代表變量1、變量2、變量3和類別。infer.csv由六列構(gòu)成:Band1, Band2, Band3, Band4, Band5。同樣第一列包含列名。csv文件的字段間都用逗號分隔。
1. 讀取learn.csv
> d <- read.csv("~/data/learn.csv")
> d2 <- read.csv("~/data/infer.csv")
2. 訓(xùn)練
> lda(Class ~ Band1+Band2+Band3+Band4+Band5, data=d)
訓(xùn)練結(jié)果:
> paramsCall:lda(Class ~ Band1 + Band2 + Band3 + Band4 + Band5, data = data)Prior probabilities of groups: 0 1 0.4220068 0.5779932 Group means: Band1 Band2 Band3 Band4 Band50 318.3189 0.0000000 0.0000000 0.00000 0.000001 322.1881 -0.7703634 -0.2642972 33.92608 36.39715Coefficients of linear discriminants: LD1Band1 0.02173212Band2 -0.08647688Band3 -0.01199366Band4 0.10619769Band5 0.10560976
3. 判別
> ret <- predict(params, d2)
輸出結(jié)果:
> write.csv(d2, file="~/data/output.csv"
打完收工!