兩階段檢測：第一步：生成可能包含物體的候選區(qū)域（專業(yè)術(shù)語：Region Proposal）第二步：對候選區(qū)域做進(jìn)一步分類和校準(zhǔn)，得到最終的檢測結(jié)果。代表：R-CNN，SPPNet，F(xiàn)ast R-CNN， Faster R-CNN
一階段檢測：直接給出最終的結(jié)果，沒有顯示地生成候選區(qū)域的步驟。代表： Yolo， SSD
第一步：先通過Selective Search算法生成候選區(qū)域（Proposal），這個(gè)算法的思想是：認(rèn)為可能存在物體的區(qū)域應(yīng)該是有某種相似性或連續(xù)性的區(qū)域。所以，它首先是用分割算法在圖像上生成很多小的區(qū)域，這些區(qū)域?yàn)樽罨A(chǔ)的子區(qū)域，然后根據(jù)這些區(qū)域之間的相似性進(jìn)行區(qū)域合并，衡量相似性的標(biāo)準(zhǔn)可以是顏色，紋理和大小等。不斷疊加這種小區(qū)域，直到全部合并到一塊，然后給每個(gè)區(qū)域做一個(gè)外切的矩形，就得到了許許多多的可能是物體的區(qū)域方框。 候選區(qū)域搞定好，找了一張圖，感受一下這個(gè)算法的執(zhí)行
簡要說明，左邊是根據(jù)分割算法生成小的候選區(qū)域，接著往上合并（相似度高）。 反應(yīng)到圖中，就是中間那個(gè)圖。
第二步：強(qiáng)行將這些圖形放大到一個(gè)尺寸，因?yàn)樵诰矸e網(wǎng)絡(luò)之后，我們要對圖片進(jìn)行分類，R-CNN采用的是多個(gè)SVM進(jìn)行分類。所以對于卷積網(wǎng)絡(luò)，我們必須要求輸出的向量維度一樣，這樣SVM才可以分類，為了保證輸出維度一樣，那你就必須保證卷積網(wǎng)絡(luò)的輸入的圖片大小一致。所以這就是我們強(qiáng)行放大的原因。
第三步：將圖片送進(jìn)卷積網(wǎng)絡(luò)，后面還必須有個(gè)全連接層。。輸入一個(gè)高維向量，我們在通過SVM進(jìn)行物體的分類，這樣就檢測出物體，并會(huì)預(yù)測出這個(gè)物體屬于這個(gè)類型的概率。。
第四步：檢測出以后，必須畫框，我們第一步已經(jīng)有了邊框，這里直接畫出就行了？ 不行，因?yàn)槟愕目蚩赡懿粔蚝?，我們還要根據(jù)訓(xùn)練數(shù)據(jù)中標(biāo)記的框去校正第一步生成的框。。見下圖：（網(wǎng)上隨便找的）
假設(shè)紅色框使我們標(biāo)記的框，而藍(lán)色框使我們Selective Search生成的寬，我們還需根據(jù)紅框去校正藍(lán)色框。。具體校正方法：不就是回歸那四個(gè)點(diǎn)嘛。。讓他們對應(yīng)點(diǎn)的歐式距離減小。。
為什么會(huì)提出SSPNet，我們的R-CNN有什么不好的？ 其實(shí)，在R-CNN中，為了讓所有候選區(qū)域生成一個(gè)維度相等的向量，對候選區(qū)域進(jìn)行了強(qiáng)行放縮，這樣會(huì)破壞圖像的比例關(guān)系，對特征的提取不利，而且，這個(gè)放縮還是相當(dāng)耗時(shí)的，R-CNN論文中顯示生成候選區(qū)域和 放縮的時(shí)間大概都在兩秒。所以，SPPnet就在這里進(jìn)行了優(yōu)化。
SPPNet采用了空間金字塔池化。怎么做的呢？ 在R-CNN中對候選區(qū)域進(jìn)行縮放，而在SPPNet中不對圖片進(jìn)行縮放，直接送進(jìn)卷積，然后將卷積網(wǎng)絡(luò)中最后的幾個(gè)全連接層去掉，采用空間金字塔池化，什么是空間金字塔池化？ 見下圖
從下往上看，黑色的東西就是最后一次卷積完輸出的東西，厚度很厚，我們先找一個(gè)4x4的網(wǎng)格蓋在每張?zhí)卣鲌D上，那么總共有十六個(gè)格子，每個(gè)格子中的像素肯定有多個(gè)，我們選其最大的像素，組成一個(gè)向量，然后，再找一個(gè)2x2的網(wǎng)格蓋在特征圖上，選出對應(yīng)格子中的最大像素，最后用1x1的格子（也就是找出每張?zhí)卣鲌D中的最大像素值）。
舉個(gè)例子： 假設(shè)最后一個(gè)卷積卷完后，生成的是（高度不定） x（寬度不定）x 256。。為什么不確定？因?yàn)槲覀兘o卷積網(wǎng)絡(luò)喂的候選區(qū)域大小不同，那他輸出肯定也就不同，但厚度肯定是相同的。厚度跟卷積核個(gè)數(shù)有關(guān)。。那我們開始計(jì)算：①：先通過4x4的網(wǎng)格，則生成的就是16x256 = 4096維向量。②：接著用2x2的網(wǎng)格，生成的就是4x256=1024維向量。③：最后通過1x1的網(wǎng)格，生成的是256維向量。接著將這三步生成的向量拼接起來，那就是4096 1024 256 = 5376維向量。很顯然，不同大小的圖片，我們卻得到了相同大小的向量，這就是空間金字塔池化的優(yōu)點(diǎn)。。
最后，用這些向量進(jìn)行分類，然后再校正這些框。和R-CNN一樣，主要是空間金字塔池化。。
善于思考的同學(xué)應(yīng)該發(fā)現(xiàn)了一個(gè)問題，那就是為什么要將候選區(qū)域逐個(gè)送進(jìn)網(wǎng)絡(luò)？ 我們可以直接將整張圖送進(jìn)卷積網(wǎng)絡(luò)中，然后再找出當(dāng)初候選區(qū)域?qū)?yīng)的邊界，這樣速度就會(huì)有質(zhì)的提升。因?yàn)槊繌垐D片在卷積網(wǎng)絡(luò)中運(yùn)算的時(shí)間是很長的。 這就是Fast R-CNN的一個(gè)改進(jìn)，同時(shí)，它還汲取了SPPnet中空間金字塔池化的優(yōu)點(diǎn)，還有一個(gè)最重要的改進(jìn)，就是引入了多任務(wù)的學(xué)習(xí)，在卷積網(wǎng)絡(luò)出來一個(gè)，接了兩個(gè)輸出，一個(gè)搞圖片的分類，一個(gè)搞邊框的回歸。 結(jié)構(gòu)見下圖：
這里多啰嗦一句：候選區(qū)域?qū)?yīng)卷積出來的那個(gè)區(qū)域，我們通常把那個(gè)區(qū)域成為ROI （region of interest 感興趣的區(qū)域）
Fast R-CNN 依然還有一個(gè)耗時(shí)操作，那就是候選框的生成（依然采用的是Selective Search算法），faster-RCNN創(chuàng)造性的提出了RPN（region proposal network），在卷積神經(jīng)網(wǎng)絡(luò)之后加入RPN，作為分支網(wǎng)絡(luò)，可以實(shí)現(xiàn)候選框的提取。從而實(shí)現(xiàn)了將候選框提取這一環(huán)節(jié)合并到深度網(wǎng)絡(luò)中。RPN的提出也是faster-RCNN最大創(chuàng)新點(diǎn)。
接下來，我們詳細(xì)說一下RPN網(wǎng)絡(luò)結(jié)構(gòu)：
聯(lián)系客服
