免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
python分類預測模型的特點
  • 模型
    模型特點
    位于
    SVM強大的模型,可以用來回歸,預測,分類等,而根據(jù)選取不同的和函數(shù),模型可以是線性的/非線性的sklearn.svm
    決策樹基于"分類討論,逐步細化"思想的分類模型,模型直觀,易解釋sklearn.tree
    樸素貝葉斯基于概率思想的簡單有效的分類模型,能夠給出容易理解的概率解釋sklearn.naive_bayes
    神經(jīng)網(wǎng)絡具有強大的擬合能力,可疑用于擬合,分類等,它有多個增強版本,如遞神經(jīng)網(wǎng)絡,卷積神經(jīng)網(wǎng)絡,自編嗎器等,這些是深度學習的模型基礎Keras
    邏輯回歸比較基礎的線性分類模型,很多時候是簡單有效的選擇sklearn.linear_model
    隨機森林思想跟決策樹類似,精度通常比決策樹要高,缺點是由于隨機性, 喪失了決策樹的可解釋性sklearn.ensemble
  • python建模的步驟:
    1. 建立一個對象(這個對象是空白的,需要進一步訓練)
    2. 然后,我們要設置模型的參數(shù)
    3. 接著就是通過fit()方法對模型進行訓練
    4. 最后通過predict()方法預測結果
    5. 對模型的評估score()方法等
  • 聚類分析
    • 常用聚類分析算法
    • 與分類不同,聚類分析是在沒有給定劃分類別的情況下,根據(jù)數(shù)據(jù)相似度進行樣本分組的一種方法.與分類模型需要使用有類標記樣本構成的訓練數(shù)據(jù)不同,聚類模型可疑建立在吳磊標記的數(shù)據(jù)上,是一種非監(jiān)督的學習算法.聚類的輸入是一組為被標記的樣本,聚類根據(jù)數(shù)據(jù)自身距離或相似度將其劃分為若干組,劃分的原則是組內距離最小化而組件距離最大化.
    • 類別
      包括主要算法
      劃分(分裂)方法K-Means算法(K-均值),K-MEDOIDS算法(K-中心點),CLARANS算法(基于選擇的算法)
      層次分析方法BIRCH算法(平衡迭代規(guī)約和聚類),CURE算法(代表點聚類),CHAMLEON算法
      基于密度的方法DBSCAN算法(基于密度連接區(qū)域).DENCLUE算法(密度分布函數(shù)),OPTICS算法(對象識別排序)
      基于網(wǎng)絡的方法STING(統(tǒng)計信息網(wǎng)絡),CLIOUE算法(聚類高維空間),WAVE-CLUSTER算法(小波變換)
      基于模型的方法

      統(tǒng)計學方法,神經(jīng)網(wǎng)絡方法

    • 聚類分析的算法
      • 算法名稱
        算法描述
        K-MeansK-均值聚類也稱為快速聚類法,在最小化誤差函數(shù)的基礎上家境數(shù)據(jù)劃分為預訂的類數(shù)K,該算法原理簡單并便于處理處理數(shù)據(jù)
        K-中心點K-均值算法對孤立點的敏感性, K-中心點算法不采用簇中對象的平均值作為簇中心,而選用簇中離平均值最近的對象作為簇中心
        系統(tǒng)聚類系統(tǒng)聚類也稱為多層次聚類,分類的單位由高到低呈樹形結構,且所處的為孩子越低,其包含的對象就越少,但這些對象間的共同特征越多,該聚類的方法只適合小數(shù)據(jù)量的時候使用,數(shù)據(jù)量大的時候速度會非???/td>
    • K-Means聚類算法
      •  K-Means算法十典型的基于距離的非層次聚類算法,在最小化誤差函數(shù)的基礎上將數(shù)據(jù)劃分為預定的類數(shù)K,采用距離作為相似性的評價指標,即認為兩個對象的距離越近,其相似度就越大.
      • 算法過程
        1. 從N個樣本書中隨機選取K個對象作為初始的聚類中心
        2. 分別計算每個樣本到各個聚類中心的距離,將對象分配到聚類中
        3. 所有對象分配完成后,重新計算K個聚類中心.
        4. 與前一次計算得到的K個聚類中心比較,如果聚類中心發(fā)生變化轉第2步, 否則轉第5步
        5. 當質心不發(fā)生變化時停止輸出聚類結果
      • 聚類的結果可能依賴初始聚類中心的隨機選擇,可能使得結果嚴重偏離全局最優(yōu)分類,實踐中,為了得到較好的效果,通常選擇不同的初始聚類中心,多次運行K-Means算法,在所有對象分配完成后,重新計算K個聚類中心時,對于連續(xù)數(shù)據(jù),聚類中心取簇的均值,但是當樣本的某些屬性是分類變量時,均值可能無定義,可疑使用K-眾數(shù)方法
      • 數(shù)據(jù)類型與相似性的度量
        • 連續(xù)屬性
        • 對于連續(xù)屬性,要先對個屬性值進行零 - 均值規(guī)范, 再進行距離的計算.在K-Means聚類算法中,一般需要度量樣本之間的距離,樣本與簇之間的距離以及簇與簇之間的距離
        • 度量樣本之間的相似性最常用的是歐幾里得距離,曼哈頓距離和閔可夫斯基距離;樣本與簇之間的距離可以用樣本到簇中心的距離d(ei,x);簇與簇之間的距離剋用簇中心的距離d(ei,ej)
        • 歐幾里得距離:
          • d(i,j) = ((xi1 - xj1)2 + (xi2 - xj2)2 + ... + (xip - xjp)2)1/2
        • 曼哈頓距離:
          • d(i,j) = |xi1 - xj1| + |xi1 - xj1| + ... + |xip - xjp|
        • 閔可夫斯基距離:
          • d(i,j) = ((|xi1 - xj1|)q + (|xi2 - xj2|)q + ... + (|xip - xjp|)q)1/2
        • q為正整數(shù), q=1時,即為曼哈頓距離,;q=2時即為歐幾里得距離
      • 目標函數(shù)
        • 使用誤差平方和SSE作為度量聚類質量的目標函數(shù),對于兩種不同的聚類結果,訓著誤差平方和較小的分類結果.
        • 連續(xù)屬性的SSE計算公式為:
          • SSE = ∑Ki=1x€Eidist(ei, x)2
        • 文檔數(shù)據(jù)的SSE計算公式為:
          • SE = ∑Ki=1x€Eicos(ei, x)2
        • 簇Ei的聚類中心ei計算公式為
          • ei = 1/nix€Eix
        • 符號
          含義
          符號
          含義
          k聚類簇的個數(shù)ei簇Ei的聚類中心
          Ei第i個簇ni第i個簇中樣本的個數(shù)
          x對象(樣本)

 

        • 消費行為數(shù)據(jù):
      • ID
        R(最近一次消費時間間隔)
        F(消費頻率)
        M(消費總金額)
        1374579
        2353616
        32510394
        4522111
        5367521
        6415225
        7563118
        8375793
        9542111
        105181086
      • 采用K-Means聚類算法,設定聚類個數(shù)K為3,最大迭代次數(shù)為500次,距離函數(shù)取歐式距離
    • import pandas as pdk = 3 # 聚類的類別iteration = 500 # 聚類最大循環(huán)次數(shù)data = pd.read_csv("sales_bak.csv",sep=",",header=None,                   names=["ID", "R", "F", "M"])data_zs = 1.0*(data - data.mean()) / data.std()  # 數(shù)據(jù)標準化from sklearn.cluster import KMeansmodel = KMeans(n_clusters=k, n_jobs=4, max_iter=iteration)  # 分為k類并發(fā)數(shù)4model.fit(data_zs)  # 開始聚類# 打印結果r1 = pd.Series(model.labels_).value  # 統(tǒng)計各個類別的數(shù)目r2 = pd.DataFrame(model.cluster_centers_)  # 找到聚類中心r = pd.concat([r2,r1], axis=1)  # 橫向連接(0時縱向),得到聚類中心對應的類別下的數(shù)目r.columns = list(data.column) + [u'類別數(shù)目']  # 重命名表頭print r# 詳細輸出原始數(shù)據(jù)機器類別r = pd.concat([data, pd.Series(model.labels_, index=data.index)], axis=1)  # 詳細輸出每個樣本對應的類別r.columns = list(data.columns) + [u'聚類類別']  # 重命名表頭r.to_excel("sales.xlxs")

       

    • 事實上,Scikit-Learn中的K-Means算法僅僅支持歐式距離,原因在于采用其他的距離并不一定能夠保證算法的收斂性
    • 然后用pandas和Matplotlib繪制的不同客戶分群的概率密度函數(shù)圖,通過這些圖能直觀的比較不同客戶群的價值
  • 聚類分析算法評價
    • 聚類分析僅根據(jù)樣本數(shù)據(jù)本身將樣本分組,其目標時實現(xiàn)組內的對象相互之間時相似的(相關的),而不同組中的對象時不同的(不相關),組內的相似性越大,組間差別越大,聚類效果就越好
    • purity評價法
      • purity方法時極為簡單的一種聚類評價方法,只需計算正確聚類占總數(shù)的比例
        • purity(x,y) = 1/n∑kmax| xkΩ yi |
      • 其中,x = (x1, x2, ... xk)時聚類的集合.xk表示第k個聚類的集合.y=(y1,y2,...yk)表示需要被聚類的集合,yi表示第i個聚類對象.n表示被聚類集合對象的總數(shù)
    • RI評價法
      • 實際上,這是一種用排列組合原理來對聚類進行評價的手段,RI評價公式如下.
        • RI = R + W / R + M + D + W
      • 其中,R是指被聚在一類兩個對象被正確分類了,w是指不應該被聚在一類的兩個對象被正確分開.M是指不應該放在一起的對象被錯誤的放在一類,D是指不應該分開的對象被錯誤的分開了.
    • F指評價法
      • 這是基于上述RI方法衍生出的一個方法,F評價公式如下:
        • Fa = (I + α2)pr / α2? + r
      • 其中, p = R / R + M, r = R / (R + D)
      • 實際上RI方法就是吧準確率P和召回率r看的同等重要,事實上,有時候我們可能需要某一特性更多一點,這時候就適合使用F值方法.
    • python主要聚類分析算法:
      • python的聚類相關的算法主要在Scikit-Learn中, python里面實現(xiàn)的聚類主要包括K-Means聚類,層次聚類, FCM以及神經(jīng)網(wǎng)絡聚類,
      • 對象名
        函數(shù)功能
        所屬工具箱
        KMeansK均值聚類sklearn.cluster
        AffinityPropahation吸引力傳播聚類,2007年提出,幾乎優(yōu)于所有的其他方法,不需要指定聚類數(shù),單運行效率較低sklearn.cluster
        MeanShift均值漂移聚類sklearn.cluster
        SpectralClustring譜聚類,具有效果比k均值好,速度比K均值快等特點sklearn.cluster
        AgglomerativeClustering層次聚類,給出一棵聚類層次樹sklearn.cluster
        DBSCAN具有噪聲的基于密度的聚類方法sklearn.cluster
        BIRCH綜合的層次聚類算法,可以處理大規(guī)模數(shù)據(jù)的聚類sklearn.cluster

 

      • 這些不同模型的使用方法是大同小異的,都是基本先使用對應的函數(shù)建立模型,然后用.fit()方法來訓練模型,訓練好之后,就可以用.label_方法給出樣本數(shù)據(jù)的標簽,或者用.predict()方法預測新的輸入標簽.
      • 此外,Scipy庫也提供了一個聚類子庫scipy.cluster,里邊提供了一些聚類算法,如層次聚類等,但沒有Scikit-Learn那么完善和豐富.scipy.cluster的好處黑絲它的函數(shù)名和功能基本根python時一一對應的,如層次聚類的linkage,dendrogram等,因此已經(jīng)熟悉python的朋友,可疑嘗試使用Scipy提供的聚類庫.
      • # -*- coding:utf-8 -*-import sysreload(sys)sys.setdefaultencoding("utf-8")"""使用神經(jīng)網(wǎng)絡算法預測銷量高低"""from sklearn.manifold import TSNEimport pandas as pdk = 3 # 聚類的類別iteration = 500 # 聚類最大循環(huán)次數(shù)data = pd.read_csv("sales_bak.csv", sep="\t",header=None,                   names=["a", "b", "c"])  # 讀取csv中的數(shù)據(jù)data_zs = 1.0 * (data - data.mean()) / data.std()  # 數(shù)據(jù)標準化tsne = TSNE()  # 實例化一個TENS空白的對象tsne.fit_transform(data_zs)  # 進行數(shù)據(jù)降維tsne = pd.DataFrame(tsne.embedding_,index = data_zs.index)  # 轉換數(shù)據(jù)格式import matplotlib.pyplot as pltplt.rcParams['font,sans-serif'] = ['SimHei']  # 用來正常顯示中文標簽plt.rcParams['zxes.unicode_minus'] = False # 用來正常顯示負號d = tsne[r[u'聚類類別'] == 0 ]plt.plot(d[0], d[1], 'r.')d = tsne[r[u'聚類類別'] == 1 ]plt.plot(d[0], d[1], 'go')d = tsne[r[u'聚類類別'] == 2]plt.plot(d[0], d[1], 'b*')plt.show()
本站僅提供存儲服務,所有內容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權內容,請點擊舉報。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
【獨家】一文讀懂聚類算法
python機器基礎邏輯回歸與非監(jiān)督學習
從數(shù)據(jù)分析師筆試試題看職業(yè)要求
機器學習常用聚類算法大盤點,包括:原理、使用細節(jié)、注意事項
常用數(shù)據(jù)挖掘算法從入門到精通 第二章 K
數(shù)據(jù)挖掘(聚類分析)
更多類似文章 >>
生活服務
分享 收藏 導長圖 關注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服