免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

聚類(lèi)分析

一、概念

聚類(lèi)分析是按照個(gè)體的特征將他們分類(lèi)，讓同一個(gè)類(lèi)別內(nèi)的個(gè)體之間具有較高的相似度，不同類(lèi)別之間具有較大的差異性

聚類(lèi)分析屬于無(wú)監(jiān)督學(xué)習(xí)

聚類(lèi)對(duì)象可以分為Q型聚類(lèi)和R型聚類(lèi)

Q型聚類(lèi)：樣本/記錄聚類(lèi) 以距離為相似性指標(biāo) （歐氏距離、歐氏平方距離、馬氏距離、明式距離等）

R型聚類(lèi)：指標(biāo)/變量聚類(lèi)以相似系數(shù)為相似性指標(biāo) （皮爾遜相關(guān)系數(shù)、夾角余弦、指數(shù)相關(guān)系數(shù)等）

二、常用的聚類(lèi)算法

• K-Means劃分法
• 層次聚類(lèi)法
• DBSCAN密度法

1、K-Means劃分法

K表示聚類(lèi)算法中類(lèi)的個(gè)數(shù)，Means表示均值算法，K-Means即是用均值算法把數(shù)據(jù)分成K個(gè)類(lèi)的算法。

K-Means算法的目標(biāo)，是把n個(gè)樣本點(diǎn)劃分到k個(gè)類(lèi)中，使得每個(gè)點(diǎn)都屬于離它最近的質(zhì)心（一個(gè)類(lèi)內(nèi)部所有樣本點(diǎn)的均值）對(duì)應(yīng)的類(lèi)，以之作為聚類(lèi)的標(biāo)準(zhǔn)。

算法原理見(jiàn) http://www.aboutyun.com/thread-18178-1-1.html【轉(zhuǎn)】

K-Means算法的計(jì)算步驟

• 取得k個(gè)初始質(zhì)心：從數(shù)據(jù)中隨機(jī)抽取k個(gè)點(diǎn)作為初始聚類(lèi)的中心，來(lái)代表各個(gè)類(lèi)
• 把每個(gè)點(diǎn)劃分進(jìn)相應(yīng)的類(lèi)：根據(jù)歐式距離最小原則，把每個(gè)點(diǎn)劃分進(jìn)距離最近的類(lèi)中
• 重新計(jì)算質(zhì)心：根據(jù)均值等方法，重新計(jì)算每個(gè)類(lèi)的質(zhì)心
• 迭代計(jì)算質(zhì)心：重復(fù)第二步和第三步，迭代計(jì)算
• 聚類(lèi)完成：聚類(lèi)中心不再發(fā)生移動(dòng)

基于sklearn包的實(shí)現(xiàn)

導(dǎo)入一份如下數(shù)據(jù)，經(jīng)過(guò)各變量間的散點(diǎn)圖和相關(guān)系數(shù)，發(fā)現(xiàn)工作日上班電話(huà)時(shí)長(zhǎng)與總電話(huà)時(shí)長(zhǎng)存在強(qiáng)正相關(guān)關(guān)系

選擇可建模的變量并降維

通過(guò)sklearn包中的K-Means方法構(gòu)建模型

#繪制散點(diǎn)圖查看數(shù)據(jù)點(diǎn)大致情況plt.scatter(data_pca_2[0],data_pca_2[1])

plt.scatter(data_pca_2[0],data_pca_2[1],c=ptarget)#查看聚類(lèi)的分布情況

最后，可以通過(guò)直方圖查看各聚類(lèi)間的差異

#查看各類(lèi)之間的差異dMean = pd.DataFrame(columns=cloumns_fix1+['分類(lèi)']) #得到每個(gè)類(lèi)別的均值data_gb = data[cloumns_fix1].groupby(ptarget) #按標(biāo)注進(jìn)行分組i = 0for g in data_gb.groups:    rMean = data_gb.get_group(g).mean()     rMean['分類(lèi)'] = g;    dMean = dMean.append(rMean, ignore_index=True)    subData = data_gb.get_group(g)    for column in cloumns_fix1:        i = i+1;        p = plt.subplot(3, 5, i)        p.set_title(column)        p.set_ylabel(str(g) + '分類(lèi)')        plt.hist(subData[column], bins=20)

2、 層次聚類(lèi)法

層次聚類(lèi)算法又稱(chēng)為樹(shù)聚類(lèi)算法，它根據(jù)數(shù)據(jù)之間的距離，透過(guò)一種層次架構(gòu)方式，反復(fù)將數(shù)據(jù)進(jìn)行聚合，創(chuàng)建一個(gè)層次以分解給定的數(shù)據(jù)集。層次聚類(lèi)算法常用于一維數(shù)據(jù)的自動(dòng)分組。

層次聚類(lèi)算法是一種很直觀(guān)的聚類(lèi)算法，基本思想是通過(guò)數(shù)據(jù)間的相似性，按相似性由高到低排序后重新連接各個(gè)節(jié)點(diǎn)，整個(gè)過(guò)程就是建立一個(gè)樹(shù)結(jié)構(gòu)，如下圖：

層次聚類(lèi)算法的步驟：

• 每個(gè)數(shù)據(jù)點(diǎn)單獨(dú)作為一個(gè)類(lèi)
• 計(jì)算各點(diǎn)之間的距離（相似度）
• 按照距離從小到大（相似度從強(qiáng)到弱）連接成對(duì)（連接后按兩點(diǎn)的均值作為新類(lèi)繼續(xù)計(jì)算），得到樹(shù)結(jié)構(gòu)

基于sklearn包的實(shí)現(xiàn)

使用K-Means聚類(lèi)案例中的數(shù)據(jù)

linkage = scipy.cluster.hierarchy.linkage(data, method='single')

method 類(lèi)距離計(jì)算公式有三種參數(shù):
　　　　single 兩個(gè)類(lèi)之間最短距離的點(diǎn)的距離
　　　　complete 兩個(gè)類(lèi)之間最長(zhǎng)距離的點(diǎn)的距離
　　　　centroid 兩個(gè)類(lèi)所有點(diǎn)的中點(diǎn)的距離

#層次聚類(lèi)繪圖hcluster.dendrogram(linkage)  #不設(shè)置參數(shù)時(shí)會(huì)將所有點(diǎn)做為一個(gè)基礎(chǔ)的類(lèi)進(jìn)行樹(shù)結(jié)構(gòu)的繪制#由于數(shù)據(jù)量大，限制類(lèi)的個(gè)數(shù),保留12個(gè)節(jié)點(diǎn)，有括號(hào)表示副節(jié)點(diǎn)，括號(hào)內(nèi)的數(shù)字為該節(jié)點(diǎn)內(nèi)部包含的子節(jié)點(diǎn)hcluster.dendrogram(linkage, truncate_mode='lastp', p=12, leaf_font_size=12.)

#對(duì)聚類(lèi)得到的類(lèi)進(jìn)行標(biāo)注 層次聚類(lèi)的結(jié)果，要聚類(lèi)的個(gè)數(shù)，劃分方法（maxclust，最大劃分法）ptarget = hcluster.fcluster(linkage, 3, criterion='maxclust')#查看各類(lèi)別中樣本含量pd.crosstab(ptarget,ptarget)

繪制圖形

3、 DBSCAN密度法

概念：

中文全稱(chēng)：基于密度的帶噪聲的空間聚類(lèi)應(yīng)用算法，它是將簇定義為密度相聯(lián)的點(diǎn)的最大集合，能夠把具有足夠高密度的區(qū)域劃分為簇，并可在噪聲的空間數(shù)據(jù)集中發(fā)現(xiàn)任意形狀的聚類(lèi)。

密度：空間中任意一點(diǎn)的密度是以該點(diǎn)為圓心，以Eps為半徑的園區(qū)域內(nèi)包含的點(diǎn)數(shù)目。

鄰域：空間中任意一點(diǎn)的鄰域是以該店為圓心，以Eps為半徑的園區(qū)域內(nèi)包含的點(diǎn)集合。

核心點(diǎn)：空間中某一點(diǎn)的密度，如果大于某一給定閾值MinPts，則稱(chēng)該點(diǎn)為核心點(diǎn)。（小于MinPts則稱(chēng)邊界點(diǎn)）

噪聲點(diǎn)：既不是核心點(diǎn)，也不是邊界點(diǎn)的任意點(diǎn)

DBSCAN算法的步驟：

• 通過(guò)檢查數(shù)據(jù)集中每點(diǎn)的Eps鄰域來(lái)搜索簇，如果點(diǎn)p的Eps鄰域內(nèi)包含的點(diǎn)多于MinPts個(gè)，則創(chuàng)建一個(gè)以p為核心的簇
• 通過(guò)迭代聚集這些核心點(diǎn)p距離Eps內(nèi)的點(diǎn)，然后合并成為新的簇（可能）
• 當(dāng)沒(méi)有新點(diǎn)添加到新的簇時(shí)，聚類(lèi)完成

DBSCAN算法優(yōu)點(diǎn)：

• 聚類(lèi)速度快且能夠有效處理噪聲點(diǎn)發(fā)現(xiàn)任意形狀的空間聚類(lèi)
• 不需要輸入要?jiǎng)澐值木垲?lèi)個(gè)數(shù)
• 聚類(lèi)簇的形狀沒(méi)有偏倚
• 可以在需要是過(guò)濾噪聲

DBSCAN算法缺點(diǎn)：

• 數(shù)據(jù)量大時(shí)，需要較大的內(nèi)存和計(jì)算時(shí)間
• 當(dāng)空間聚類(lèi)的密度不均勻、聚類(lèi)間距差較大時(shí)，得到的聚類(lèi)質(zhì)量較差（MinPts與Eps選取困難）
• 算法效果依賴(lài)距離公式選擇，實(shí)際應(yīng)用中常使用歐式距離，對(duì)于高緯度數(shù)據(jù)，存在“維度災(zāi)難” https://baike.baidu.com/item/維數(shù)災(zāi)難/6788619?fr=aladdin

python中的實(shí)現(xiàn)

1）數(shù)學(xué)原理實(shí)現(xiàn)

導(dǎo)入一份如下分布的數(shù)據(jù)點(diǎn)的集合

#計(jì)算得到各點(diǎn)間距離的矩陣from sklearn.metrics.pairwise import euclidean_distancesdist = euclidean_distances(data)

將所有點(diǎn)進(jìn)行分類(lèi)，得到核心點(diǎn)、邊界點(diǎn)和噪聲點(diǎn)

以防萬(wàn)一，將噪聲點(diǎn)進(jìn)行過(guò)濾，并計(jì)算新的距離矩陣

#把噪聲點(diǎn)過(guò)濾掉，因?yàn)樵肼朁c(diǎn)無(wú)法聚類(lèi)，它們獨(dú)自一類(lèi)corePoints = data[pandas.Series(ptses)!=0]coreDist = euclidean_distances(corePoints)

以每個(gè)點(diǎn)為核心，得到該點(diǎn)的鄰域

然后，將有交集的鄰域，都合并為新的領(lǐng)域

for i in range(len(cluster)):    for j in range(len(cluster)):        if len(set(cluster[j]) & set(cluster[i]))>0 and i!=j:            cluster[i] = list(set(cluster[i]) | set(cluster[j]))            cluster[j] = list()

最后，找出獨(dú)立（也就是沒(méi)有交集）的鄰域，就是我們最后的聚類(lèi)的結(jié)果了

2）基于sklearn包的實(shí)現(xiàn)

eps = 0.2MinPts = 5model = DBSCAN(eps, MinPts)data['type'] = model.fit_predict(data)plt.scatter(data['x'],  data['y'], c=data['type'])

end.

來(lái)源：博客園