[機(jī)器學(xué)習(xí)]機(jī)器學(xué)習(xí)筆記整理08

2019.05.25

<html>

1

1 背景

最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年發(fā)表
深度學(xué)習(xí)（2012）出現(xiàn)之前，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功，表現(xiàn)最好的算法

2 機(jī)器學(xué)習(xí)的一般框架

訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類(lèi)器：比如決策樹(shù)，KNN）=>得到結(jié)果

3 介紹

3.1 例子

兩類(lèi)？哪條線最好？

3.2 SVM尋找區(qū)分兩類(lèi)的超平面（hyper plane), 使邊際(margin)最大

總共可以有多少個(gè)可能的超平面？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離，兩側(cè)的兩個(gè)超平面平行

4 線性可區(qū)分(linear separable)和線性不可區(qū)分（linear inseparable)

以上3張圖均為線性不可區(qū)分，我們后續(xù)的課程會(huì)討論，現(xiàn)在只關(guān)注線性可區(qū)分。

5 定義與公式建立

6 求解

7 例子

代碼簡(jiǎn)單實(shí)現(xiàn)

from sklearn import svmx = [[2, 0], [1, 1], [3, 3],[2,6]]y = [0, 0, 1,2]clf = svm.SVC()clf.fit(x, y)print clf# get support vectorsprint clf.support_vectors_# get indices of support vectorsprint clf.support_# get number of support vectors for each classprint clf.n_support_1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

##輸出結(jié)果

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)[[ 2. 0.] [ 1. 1.] [ 3. 3.] [ 2. 6.]][0 1 2 3][2 1 1]