免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

SVM數(shù)學知識具體參考：

https://blog.csdn.net/zhangping1987/article/details/21931663

數(shù)學知識補充

對于線性可分的超平面

既然能線性可分，那么就有超平面

第一個知識點：已知超平面

和數(shù)據(jù)集

，哪個一點離這條超平面最近，答案：哪一個點使得

第二個知識點：已知超平面

，

，那么這個點到這個超平面的距離為：

,向量表示法為

對于SVM的描述

參考《統(tǒng)計學習方法》以及https://www.cnblogs.com/pinard/p/6097604.html

SVM分為線性可分支持向量機，線性向量機和非線性支持向量機。當訓練數(shù)據(jù)可分時，通過硬間隔最大化，學習一個線性的分類器，即線性可分支持向量機，又稱為硬間隔支持向量機，當訓練數(shù)據(jù)近似線性可分時，通過軟間隔最大化，也學習一個線性的分類器，即線性支持向量機，又稱為軟間隔支持向量機，當訓練數(shù)據(jù)線性不可分時，通過使用核技巧及軟間隔最大化，學習非線性支持向量機。

當輸入空間為歐式空間或離散集合、特征空間為希爾伯特空間時，核函數(shù)表示將輸入從輸入空間映射到特征空間得到的特征向量之間的內(nèi)積，通過使用核函數(shù)可以學習非線性支持向量機，等價于隱式地在高維的特征空間中學習線性支持向量機，這樣的方法稱為核技巧。

1)線性可分支持向量機又稱為硬間隔支持向量機（一般處理的是二分類問題，）它處理的是數(shù)據(jù)集線性可分的情況，既然線性可分則必然存在超平面能夠把數(shù)據(jù)分為正負兩類，但是這種超平面會有很多，這就需要考慮選取出能使得訓練出來的模型泛化能力最強的超平面。也就是說對于誤分類點的容錯性更好。這時又需要考慮哪些點最容易被誤分類，顯然離超平面越近的點越容易被誤分類，如果離超平面最近的點都能被正確分類那么遠的點就必然會被正確分類。因此所選的超平面應該盡量使得數(shù)據(jù)集離超平面的最小距離最大化，這樣模型才擁有最好的泛化能力。離超平面最小的距離為

最終表示為

這是硬間隔支持向量機用以代表線性可分的支持向量機模型。其中y為類別標簽。離超平面最近的正負類中的這些點被稱為支持向量。分離超平面為wTx b=0，所有的樣本不光可以被超平面分開，還和超平面保持一定的函數(shù)距離（下圖函數(shù)距離為1），那么這樣的分類超平面是比感知機的分類超平面優(yōu)的?？梢宰C明，這樣的超平面只有一個。和超平面平行的保持一定的函數(shù)距離的這兩個超平面對應的向量，我們定義為支持向量，支持向量所在的超平面定義為wTx b=-1和wTx b=1.注意這里為什么是 -1？實際上，支持向量只是到中間那個平面距離最近的點。wx b=y，其中y只用比非支持向量的y要小就行了。而題主說為什么y是1，因為如果把超平面wx b=y這個式子的每一項除以y，那么雖然值都變了，但平面還是這個平面，也就是說有一系列的w和b表示這個平面，那我們需要固定某一個值。在svm的求解過程中，需固定y=1，然后轉(zhuǎn)化成二次規(guī)劃去求解。就是說，直接固定支持向量到分類超平面的距離為1。因為如果不是 -1的話，假設為某個數(shù)r,左右兩邊同除以r,右邊就為 -1了,然后左邊的結(jié)果用w和b替代。所以到底是正負幾并不重要。

2)線性支持向量機，又稱為軟間隔支持向量機

對于數(shù)據(jù)本是線性可分的但是存在異常點的情況，使得硬間隔支持向量機不能很好的確定劃分數(shù)據(jù)的超平面，這時應該用軟間隔支持向量機。

3)非線性支持向量機

1.核函數(shù)與常用的核函數(shù)

我們遇到線性不可分的樣例時，常用做法是把樣例特征映射到高維空間中去(如上一節(jié)的多項式回歸）但是遇到線性不可分的樣例，一律映射到高維空間，那么這個維度大小是會高到令人恐怖的。此時，核函數(shù)就體現(xiàn)出它的價值了，核函數(shù)的價值在于它雖然也是將特征進行從低維到高維的轉(zhuǎn)換，但核函數(shù)好在它在低維上進行計算，而將實質(zhì)上的分類效果（利用了內(nèi)積）表現(xiàn)在了高維上，這樣避免了直接在高維空間中的復雜計算，真正解決了SVM線性不可分的問題。即為把輸入空間中的內(nèi)積變換成了特征空間中的內(nèi)積，把轉(zhuǎn)換成了核函數(shù)。

2,常用的核函數(shù)（也是sklearn中可選的核函數(shù)）

第一、線性核函數(shù)。第二、多項式核函數(shù)。第三、高斯核函數(shù)在SVM中也稱為徑向基核函數(shù)（Radial Basis Function,RBF），它是非線性分類SVM最主流的核函數(shù)。libsvm默認的核函數(shù)就是它。第四、Sigmoid核函數(shù)