Boosting算法是一種把若干個分類器整合為一個分類器的方法，也就是一種集成分類方法（Ensemble Method）。
可以從計量經(jīng)濟學(xué)的角度理解提升方法（Boosting）的內(nèi)容。
這里的目標(biāo)是要解決：
損失函數(shù)?，以及預(yù)測器集合M。這是一個優(yōu)化問題。這里的優(yōu)化是在函數(shù)空間中進行的，是一個簡單的優(yōu)化問題。從數(shù)值的角度來看，優(yōu)化是用梯度下降來解決的（這就是為什么這種技術(shù)也被稱為梯度提升）。
同樣，最佳值不是某個實值x?，而是某個函數(shù)m?。因此，在這里我們會有類似m
其中右邊的式子也可以寫成
從后者可以清楚地看到f是我們在剩余殘差上擬合的模型。
我們可以這樣改寫：定義
目標(biāo)是擬合一個模型，使 ri,k=h?(xi)，當(dāng)我們有了這個最優(yōu)函數(shù)。設(shè) mk(x)=mk-1(x)+γkh?(x)。
這里有兩個重要點。
首先，我們擬合一個模型，通過一些協(xié)變量 x來解釋 y。然后考慮殘差 ε，并以相同的協(xié)變量 x來解釋它們。如果你嘗試用線性回歸，你會在第1步結(jié)束時完成，因為殘差 ε與協(xié)變量 x是正交的：我們沒有辦法從它們那里學(xué)習(xí)。在這里它是有效的，因為我們考慮的是簡單的非線性模型。而實際上，可以使用的東西是添加一個收縮參數(shù)。不要考慮 ε=y-m(x)，而是 ε=y-γm(x) 。弱學(xué)習(xí)的概念在這里是極其重要的。我們收縮得越多，花的時間就越長。不斷從錯誤中學(xué)習(xí)是件好事。但從啟發(fā)式的角度來看，當(dāng)我們開始過度擬合時，我們應(yīng)該停止。而這可以通過對初始數(shù)據(jù)集進行分割訓(xùn)練驗證或使用交叉驗證來觀察。
我們嘗試用樣條曲線來學(xué)習(xí)。因為標(biāo)準(zhǔn)的樣條曲線有固定的結(jié)點，
在這里，我們將（以某種方式）優(yōu)化結(jié)點位置。為了說明問題，這里使用的是高斯回歸，而不是分類?？紤]以下數(shù)據(jù)集（只有一個協(xié)變量）：
lsgen(x, y, degree = 1, numknot = 2)在5%的收縮參數(shù)下，代碼簡單如下
v=.05
fit=lm(y~bs(x,degree=1,knots=optknot))
yp=predict(fit,newdata=df)
yr= y - v*yp
YP=v*yp
for(t in 1:200){
fit=lm(yr~bs(x,degree=1,knots= optknot) )
plot( x, y,ylab="",xlab="")
lines( x,y,type="l" )為了直觀地看到100次迭代的結(jié)果，使用動態(tài)可視化
viz(100)
圖1
很明顯，我們看到，在這里從數(shù)據(jù)中學(xué)習(xí)。
我們嘗試一下別的模型。如果我們在每一步都考慮決策樹，而不是線性逐步回歸（這是用線性樣條考慮的）。
v=.1
rpart(y~x,data=df)
yp=predict(fit)
yr= y - yp
YP=v*yp
for(t in 1:100){
predict(fit,newdata=df)同樣，為了將學(xué)習(xí)過程動態(tài)可視化，使用
plot( x, y,ylab="",xlab="")
lines( x,y,type="s"
fit=rpart(y~x,data=df)圖2
這一次，通過這些樹我們不僅有一個好的模型，而且與我們使用單一的回歸樹所能得到的模型不同。
如果我們改變收縮參數(shù)呢？
為了直觀地看到收縮參數(shù)改變的結(jié)果，使用動態(tài)可視化
viz=function(v=0.05)
f$yr=df$y -v*yp
YP=v*yp
for(t in 1:100){
yp=predict(fit,newdata=df)
yr= yr - v*yp
lines(df$x,y,type="s"圖3
顯然，這個收縮參數(shù)有影響。它必須很小才能得到一個好的模型。這就是使用弱學(xué)習(xí)來獲得好的預(yù)測的想法。
現(xiàn)在我們了解了bootsting的工作原理，并把它用于分類。這將更加復(fù)雜，因為殘差在分類中通常信息量不大，而且它很難縮減。因此，讓我們嘗試一些稍微不同的方法，來介紹adaboost算法，AdaBoost是最著名的Boosting族算法。
在我們最初的討論中，目標(biāo)是最小化一個凸的損失函數(shù)。在這里，如果我們把類表示為{-1,+1}，我們考慮的損失函數(shù)是
這里的情況會有所不同，因為更難使用殘差，空殘差在分類中從不存在。所以我們將增加權(quán)重。最初，所有的觀察值都有相同的權(quán)重。但是，迭代之后，我們將增加預(yù)測錯誤的個體的權(quán)重，減少預(yù)測正確的個體的權(quán)重。
我們從ω0=1n開始，然后在每一步擬合一個模型（分類樹），權(quán)重為ωk（我們沒有討論樹的算法中的權(quán)重，但實際上在公式中是很直接的）。讓hωk表示該模型（即每個葉子里的概率）。然后考慮分類器
Ik是被錯誤分類的個體集合。
然后設(shè)置
并在最后更新模型時使用
以及權(quán)重
除以總和，以確保總和是1。如前所述，我們可以包括一些收縮參數(shù)。為了直觀地看到這個過程的收斂性，我們將在我們的數(shù)據(jù)集上繪制總誤差。
for(i in 1:n_iter)rfit = rpart(y~., x, w, method="class")
g = -1 + 2*(predict(rfit,x)\[,2\]>.5)
e = sum(w*(y*>0))
error\[i\] = mean(1\*f\*y<0)
plot(seq(1,n_iter),error圖4
在這里，我們面臨一個機器學(xué)習(xí)中的經(jīng)典問題：我們有一個完美的模型，誤差為零。用多項式擬合：有10個觀察值，9度的多項式，擬合很好。將我們的數(shù)據(jù)集一分為二，一個訓(xùn)練數(shù)據(jù)集，一個驗證數(shù)據(jù)集。
train\_car = car\[id\_train,\]
test\_car= car\[-id\_train,\]我們在第一個模型上構(gòu)建模型，并在第二個模型上檢查
for(i in 1:n_iter){
rfit = rpart(y\_train~., x\_train, w_train, method="class")
train\_error\[i\] = mean(1\*f\_train\*y_train<0)
test\_error\[i\] = mean(1\*f\_test\*y_test<0)}
plot(seq(1,n\_iter),test\_error)圖5
在這里，和以前一樣，經(jīng)過80次迭代，我們在訓(xùn)練數(shù)據(jù)集上有一個不錯的模型，但在驗證數(shù)據(jù)集上表現(xiàn)得很差。在20次迭代后，效果比較好。
也可以使用R函數(shù)。
gbm(y~ .,n.trees = 200,shrinkage = .01,cv.folds = 5這里考慮的是交叉驗證，而不是訓(xùn)練驗證，以及用得是森林而不是單棵樹，當(dāng)然，輸出要好得多（這里收縮參數(shù)是一個非常小的參數(shù)，而且學(xué)習(xí)非常慢）。
圖6
