授權(quán)轉(zhuǎn)載自大數(shù)據(jù)文摘
ID：BigDataDigest
作者：Emil Wallnér
編譯：高寧、Happen、陳玲、Alieen
深度學(xué)習(xí)的浪潮在五年前開(kāi)始興起。隨著計(jì)算能力的爆炸型增長(zhǎng)和幾個(gè)成功的案例，深度學(xué)習(xí)引起了大肆宣傳。深度學(xué)習(xí)技術(shù)可以用來(lái)駕駛車輛，在Atari游戲中進(jìn)行人機(jī)對(duì)抗，以及診斷癌癥。
開(kāi)始學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時(shí)，我花了兩周的時(shí)間進(jìn)行探索，選擇合適的工具，對(duì)比不同的云服務(wù)以及檢索在線課程。但回想起來(lái)，我還是希望我可以從第一天就能創(chuàng)建神經(jīng)網(wǎng)絡(luò)，這也是這篇文章的目的。
你不需要有任何預(yù)備知識(shí)。當(dāng)然如果你對(duì)Python，命令行和Jupyter notebook有基礎(chǔ)的了解會(huì)對(duì)你有所幫助。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，它被證明是一種可以在原始數(shù)據(jù)（如一幅圖、或者一段聲音）中找到固定模型的有效方法。 如果你想對(duì)貓和狗的圖像進(jìn)行分類。不需要具體的編程，它首先會(huì)找到圖片中的邊，然后從不同的邊中構(gòu)建模式。接下來(lái)，它會(huì)檢測(cè)到鼻子，尾巴和爪子。通過(guò)這樣的方式，神經(jīng)網(wǎng)絡(luò)最終可以實(shí)現(xiàn)對(duì)貓和狗進(jìn)行分類。
但是，結(jié)構(gòu)化的數(shù)據(jù)可以使用更好的機(jī)器學(xué)習(xí)算法。舉個(gè)例子，如果你的excel表中記錄了有序的客戶數(shù)據(jù)，你希望可以預(yù)測(cè)他們的下一張訂單，那么你可以使用傳統(tǒng)的方法，使用一個(gè)更簡(jiǎn)單的機(jī)器學(xué)習(xí)算法。
核心邏輯
想象一個(gè)安裝了很多隨機(jī)調(diào)整齒輪的機(jī)器。這些齒輪堆疊在很多層上，而且會(huì)相互影響。最初，這個(gè)機(jī)器無(wú)法正常工作。然后隨機(jī)地調(diào)整齒輪，直到調(diào)整到可以給出正確輸出。
然后一個(gè)工程師會(huì)開(kāi)始檢查所有的齒輪，然后標(biāo)記出來(lái)哪些齒輪會(huì)造成誤差。他會(huì)從最后一層的齒輪開(kāi)始，因?yàn)檫@里是所有誤差累計(jì)的結(jié)果。一旦他找到了最后一層的誤差，他就會(huì)開(kāi)始查看前一層。通過(guò)這種方法他可以計(jì)算出每一個(gè)齒輪對(duì)于誤差的貢獻(xiàn)值。我們把這個(gè)過(guò)程稱為反向傳播。
然后這個(gè)工程師開(kāi)始根據(jù)之前找到的誤差對(duì)每一個(gè)齒輪進(jìn)行調(diào)整，然后重新運(yùn)行整個(gè)機(jī)器。運(yùn)行機(jī)器，計(jì)算誤差，調(diào)整齒輪，不斷循環(huán)這個(gè)過(guò)程直到機(jī)器給出正確輸出。
預(yù)測(cè) – 計(jì)算誤差 – 調(diào)整預(yù)測(cè)值 （訓(xùn)練周期）
神經(jīng)網(wǎng)絡(luò)的運(yùn)行方式也是如此，有輸入和輸出，然后通過(guò)調(diào)整齒輪來(lái)尋找輸入和輸出之前的關(guān)系。給定一個(gè)輸入，通過(guò)調(diào)整齒輪來(lái)預(yù)測(cè)輸出，然后將預(yù)測(cè)值和真實(shí)值進(jìn)行對(duì)比。
神經(jīng)網(wǎng)絡(luò)通過(guò)調(diào)整齒輪來(lái)追求最小誤差（預(yù)測(cè)值與實(shí)際值之前的差異），它會(huì)不斷調(diào)整齒輪，直到預(yù)測(cè)值與真實(shí)值之間的差異盡可能小。
最小化誤差的一個(gè)最佳方法是梯度下降，即通過(guò)誤差函數(shù)、或者說(shuō)成本函數(shù)來(lái)進(jìn)行誤差的計(jì)算。
淺層神經(jīng)網(wǎng)絡(luò)
許多人認(rèn)為人工神經(jīng)網(wǎng)絡(luò)是我們大腦新皮質(zhì)的數(shù)字化復(fù)制品。 這是一個(gè)錯(cuò)誤的觀念。
我們并不知道大腦如何能夠做出這樣的聲明。這只是神經(jīng)網(wǎng)絡(luò)發(fā)明人弗蘭克·羅森布拉特（Frank Rosenblatt）的一個(gè)靈感源泉。
淺層神經(jīng)網(wǎng)絡(luò) 輸入-權(quán)重-加和-判斷 –> （預(yù)測(cè)值-實(shí)際值）*學(xué)習(xí)率
與神經(jīng)網(wǎng)絡(luò)模擬器玩一兩個(gè)小時(shí)，你就可以獲得對(duì)其的直觀感受。
我們將從實(shí)現(xiàn)一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)開(kāi)始，以了解TFlearn中的語(yǔ)法。從經(jīng)典的101問(wèn)題開(kāi)始，也就是OR運(yùn)算符。雖然神經(jīng)網(wǎng)絡(luò)更適合于其他類型的數(shù)據(jù)，但這是了解其工作原理的一個(gè)很好的問(wèn)題。
所有的深度學(xué)習(xí)程序都遵循同樣的核心邏輯：
1.首先加載庫(kù)，然后加載數(shù)據(jù)并清洗。不管是照片，音頻還是知覺(jué)數(shù)據(jù)，所有的輸入都會(huì)被轉(zhuǎn)化為數(shù)字。這些很長(zhǎng)的數(shù)字列表就是我們神經(jīng)網(wǎng)絡(luò)的輸入。
2.現(xiàn)在開(kāi)始設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。選擇你的神經(jīng)網(wǎng)絡(luò)層的類型和數(shù)量
3.然后它會(huì)進(jìn)入學(xué)習(xí)過(guò)程。
4.神經(jīng)網(wǎng)絡(luò)知曉輸入和輸出，然后自行尋找二者之間的關(guān)系。
最后會(huì)用訓(xùn)練好的模型中給到你一個(gè)預(yù)測(cè)值。
下面是這個(gè)神經(jīng)網(wǎng)絡(luò)的程序：
輸出
第一行 以“#”開(kāi)頭的行表示備注，一般用來(lái)解釋代碼
第二行加載TFlearn庫(kù) 通過(guò)這個(gè)語(yǔ)句我們可以使用谷歌Tensorflow的深度學(xué)習(xí)函數(shù)
第五行和第六行 將上述表中的數(shù)據(jù)存儲(chǔ)在列表中
每個(gè)數(shù)字末尾的點(diǎn)會(huì)將整數(shù)映射到浮點(diǎn)數(shù)。它存儲(chǔ)具有十進(jìn)制值的數(shù)字，使計(jì)算更加精確。
第七行初始化神經(jīng)網(wǎng)絡(luò)，并指定輸入數(shù)據(jù)的維度或者說(shuō)尺寸
所有的OR運(yùn)算都是在一對(duì)數(shù)據(jù)中進(jìn)行的，所以維度是2.
空值是默認(rèn)值，表示批量的大小
第八行輸出層
激活函數(shù)將過(guò)程中的結(jié)果映射到輸出層
在這個(gè)例子中，我們使用Sigmoid函數(shù)將其映射到(0,1)區(qū)間范圍內(nèi)
第十一行 應(yīng)用回歸
使用優(yōu)化器選擇合適的算法來(lái)最小化成本函數(shù)
學(xué)習(xí)率決定了神經(jīng)網(wǎng)絡(luò)的調(diào)整速度，而損失變量決定了如何計(jì)算誤差。
第十二行選擇使用哪個(gè)神經(jīng)網(wǎng)絡(luò)
一般情況下也可以用來(lái)指定存儲(chǔ)訓(xùn)練日志的位置
第十三行訓(xùn)練你的神經(jīng)網(wǎng)絡(luò)和模型
選擇你的輸入數(shù)據(jù)（OR）以及實(shí)際的標(biāo)簽（Y_truth）
Epochs決定了你的神經(jīng)網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)的循環(huán)次數(shù)
如果你設(shè)置 snapshot=True，那么每次循環(huán)后都會(huì)進(jìn)行模型驗(yàn)證
第十四到十八行使用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)
在這個(gè)例子中，返回的是結(jié)果是1/True的概率
輸出層
第一個(gè)結(jié)果表示[0.]&[0.]組合為真的可能性為4%，以此類推?！癟raining step”顯示了你訓(xùn)練了多少批。
在每一批中所有數(shù)據(jù)都將訓(xùn)練一次，類似于Epoch。如果數(shù)據(jù)相對(duì)內(nèi)存較大，你需要停止分段訓(xùn)練。損失函數(shù)會(huì)計(jì)算每一次迭代的錯(cuò)誤數(shù)量。
SGD指隨機(jī)梯度下降法及最小化代價(jià)函數(shù)方法。
Iter指當(dāng)前數(shù)據(jù)索引以及輸入項(xiàng)的總和。
你可以在大多數(shù)TFlearn神經(jīng)網(wǎng)絡(luò)中找到上述邏輯和語(yǔ)法。學(xué)習(xí)這段代碼最好的方法就是修改代碼并產(chǎn)生一些錯(cuò)誤。
損失曲線顯示了每一次訓(xùn)練的錯(cuò)誤量
你可以通過(guò)Tensorboard來(lái)可視化每一次實(shí)驗(yàn)，并了解每一個(gè)參數(shù)是如何影響訓(xùn)練的。
這里有一些你可以運(yùn)行的例子的建議。我推薦你花費(fèi)幾小時(shí)練習(xí)這些例子，以更好地適應(yīng)運(yùn)行環(huán)境以及TFlearn中的參數(shù)。
實(shí)驗(yàn)
增加訓(xùn)練與迭代次數(shù)
嘗試添加或改變文檔中提到的每一個(gè)函數(shù)的參數(shù)
例如g = tflearn.fullyconnected(g, 1, activation=’sigmoid’)改成tflearn.fullyconnected(g, 1, activation=’sigmoid’, bias=False)在輸入項(xiàng)增加整數(shù)
改變輸入層的形狀
改變輸出層的激活函數(shù)
使用不同的梯度下降方法
改變神經(jīng)網(wǎng)絡(luò)計(jì)算代價(jià)的方式
用X和Y來(lái)替代“AND”和“NOT”邏輯運(yùn)算
例如將最后一項(xiàng)Y_truth從[1.]改為[0.]。為了使其有效，你需要在網(wǎng)絡(luò)中增加一層。
使其學(xué)得更快
想辦法使得每一步學(xué)習(xí)都超過(guò)0.1秒
新手入門(mén)
結(jié)合Python來(lái)使用Tensorflow在深度學(xué)習(xí)中是最常見(jiàn)的手段。
TFlearn是一個(gè)運(yùn)行在Tensorflow之上的高層次框架。
另一個(gè)常見(jiàn)的框架是Keras。這是一個(gè)更加健壯的庫(kù)，但是我發(fā)現(xiàn)TFlearn的語(yǔ)法更加簡(jiǎn)潔易懂。
它們都是運(yùn)行在Tensorflow之上的高層次框架。
你可以使用你的電腦CPU來(lái)運(yùn)行簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。但是大多數(shù)實(shí)驗(yàn)需要運(yùn)行數(shù)個(gè)小時(shí)甚至幾周。這也是為什么大多數(shù)人通過(guò)現(xiàn)代GPU云服務(wù)來(lái)進(jìn)行深度學(xué)習(xí)。
最簡(jiǎn)單的GPU云服務(wù)解決方案是FloydHub（https://www.floydhub.com/）。如果你掌握了基礎(chǔ)的命令行技能，部署FloydHub將不會(huì)超過(guò)5分鐘。
使用FloyHub文檔來(lái)安裝floyd-cli命令行工具。FloydHub還為遇到問(wèn)題的客戶提供內(nèi)部客服支持。
讓我們?cè)贔loyHub中使用TFlearn、Jupyter Notebook以及Tensorboard來(lái)運(yùn)行你的第一個(gè)神經(jīng)網(wǎng)絡(luò)吧！
安裝FloydHub并登陸，下載這份指南中所需的文件。
打開(kāi)終端，輸入以下命令：
進(jìn)入文件夾并初始化FloydHub：
FloydHub會(huì)在你的瀏覽器打開(kāi)web面板，提示你創(chuàng)建一個(gè)名為101的新項(xiàng)目。完成后回到終端，再次輸入初始化命令。
現(xiàn)在你可以在FloydHub上運(yùn)行你的神經(jīng)網(wǎng)絡(luò)任務(wù)了。
你可以通過(guò)“floyd run”命令進(jìn)行不同的設(shè)置。在我們的案例中，我們希望：
o 在FloydHub中增加一個(gè)已上傳的公共數(shù)據(jù)集
o data emilwallner/datasets/cifar-10/1:data 指定數(shù)據(jù)目錄。你可以在FloydHub上查看該數(shù)據(jù)集（以及許多其他公共數(shù)據(jù)集）。
o gpu 使用GPU云計(jì)算
o tensorboard 激活Tensorboard
o mode jupyter Jupyter Notebook模式下運(yùn)行任務(wù)
OK，開(kāi)始運(yùn)行我們的任務(wù)：
在瀏覽器中初始化Jupyter后，點(diǎn)擊“start-here.ipnyb”文件。
start-here.ipnyb 包含了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，可以了解TFlearn語(yǔ)法。它學(xué)習(xí)了“OR”邏輯，隨后解釋了所有組合。
點(diǎn)擊菜單欄的“Kernel ”下的 “Restart & Run All”。如果你能看到信息，說(shuō)明它工作正常，你就可以去做其他事情了。
前往你的FloydHub項(xiàng)目，找到Tensorboard鏈接。
深度神經(jīng)網(wǎng)絡(luò)
深度神經(jīng)網(wǎng)絡(luò)指的是包含一層以上隱藏層的神經(jīng)網(wǎng)絡(luò)。目前有非常多的關(guān)于CNN（卷積神經(jīng)網(wǎng)絡(luò)）工作原理的詳細(xì)教程。
因此，我們將關(guān)注適用于更多神經(jīng)網(wǎng)絡(luò)的高層次概念。
注：該圖不是一個(gè)深度神經(jīng)網(wǎng)絡(luò)。它需要一層以上隱藏層。
你想訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)未經(jīng)訓(xùn)練的數(shù)據(jù)。它需要能泛化的能力。這是一種介于學(xué)習(xí)與遺忘之間的平衡。
你想它能學(xué)習(xí)如何將信號(hào)從噪聲中分離，但是同時(shí)遺忘只在訓(xùn)練數(shù)據(jù)中出現(xiàn)的信號(hào)。
如果神經(jīng)網(wǎng)絡(luò)未經(jīng)充分學(xué)習(xí)，它會(huì)出現(xiàn)欠擬合現(xiàn)象。與之相反是過(guò)擬合現(xiàn)象。它指的是從訓(xùn)練數(shù)據(jù)學(xué)習(xí)過(guò)多。
Regularization （正則化）是一種通過(guò)遺忘訓(xùn)練中的特定信號(hào)來(lái)減少過(guò)擬合的方法。
為了進(jìn)一步理解這些概念，我們?cè)贑IFAR-10數(shù)據(jù)集上開(kāi)展實(shí)驗(yàn)。該數(shù)據(jù)集包含了10種類別6萬(wàn)張的圖片，例如汽車、卡車和鳥(niǎo)。目標(biāo)是預(yù)測(cè)一張新的圖片屬于哪種類別。
CIFAR中的示例圖片
通常我們需要挖掘數(shù)據(jù)、清理數(shù)據(jù)以及過(guò)濾圖片。但是為了簡(jiǎn)化過(guò)程，我們只關(guān)注神經(jīng)網(wǎng)絡(luò)。你可以在Jupyter notebook中運(yùn)行安裝的所有例子（https://github.com/emilwallner/Deep-Learning-101）。
輸入層輸出層將圖片分為10類。隱藏層混合了卷積層、 pooling以及連接層。
選擇層數(shù)
讓我們來(lái)對(duì)比下只有一層的神經(jīng)網(wǎng)絡(luò)和有三層之間的區(qū)別。每一層包含卷積層，池層，和關(guān)聯(lián)層。
你可以通過(guò)點(diǎn)擊在菜單欄中的Kernel > Restart & Run All 來(lái)運(yùn)行這些腳本。接著再瞥一眼Tensorboard中的訓(xùn)練記錄。你會(huì)發(fā)現(xiàn)有很多層的多準(zhǔn)確了15%。較少層的擬合度低 — 證明它學(xué)的還不夠。
你可以運(yùn)行你先前下載的文件夾中相同例子，同樣包括接下來(lái)的試驗(yàn)。
讓我們看一眼準(zhǔn)確度和驗(yàn)證集的準(zhǔn)確度。深度學(xué)習(xí)中最好的實(shí)踐是將數(shù)據(jù)集一分為二，一部分用作訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)，剩下的則用作驗(yàn)證它。通過(guò)這種方法可以告訴我們神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)新數(shù)據(jù)中表現(xiàn)如何，或是類推的能力。
就如你所見(jiàn)，訓(xùn)練數(shù)據(jù)的準(zhǔn)確度高于驗(yàn)證數(shù)據(jù)集。這個(gè)神經(jīng)網(wǎng)絡(luò)包含了背景噪聲和其他阻礙預(yù)測(cè)新圖像的細(xì)節(jié)。
為解決過(guò)擬合問(wèn)題，你可以懲罰復(fù)雜方程并在神經(jīng)網(wǎng)絡(luò)中增加噪聲。普遍解決這個(gè)的正則化技術(shù)有丟棄層和懲戒復(fù)雜方程。
丟棄層
我們可以對(duì)比一下丟棄正則化這樣理解：一些強(qiáng)大的神經(jīng)元并不決定最終結(jié)果，而是由他們分配權(quán)力。
神經(jīng)網(wǎng)絡(luò)被迫使去學(xué)習(xí)一些獨(dú)立的表現(xiàn)。當(dāng)做最終的預(yù)測(cè)時(shí)，它則有一些不同的模型去學(xué)習(xí)。
下面是一個(gè)有丟棄層的神經(jīng)網(wǎng)絡(luò)的例子。
在這項(xiàng)對(duì)比中，兩個(gè)神經(jīng)網(wǎng)絡(luò)是一樣的除了其中一個(gè)有丟棄層，另一個(gè)沒(méi)有。
在神經(jīng)網(wǎng)絡(luò)中的每一層中，神經(jīng)元變得更依賴于彼此。某些神經(jīng)元比其他的更有影響力。丟棄層隨機(jī)的丟棄部分神經(jīng)元。這樣，每一個(gè)神經(jīng)元需要為最終輸出提供不同的貢獻(xiàn)。
另一個(gè)流行的預(yù)防過(guò)擬合的方式是在每一層中運(yùn)用L1 或L2 正則方程。
L1 & L2 正則方程
比方你想描述一匹馬，如果這個(gè)描述太仔細(xì)，你則會(huì)排除掉太多不同形態(tài)的馬。但是如果太籠統(tǒng)則可能包括進(jìn)來(lái)很多別的動(dòng)物。L1 和L2 正則化幫助我們的網(wǎng)絡(luò)去做這種區(qū)分。
如果我們與之前試驗(yàn)類似的對(duì)比，我們會(huì)得到相似的結(jié)果。
有正則化方程的神經(jīng)網(wǎng)絡(luò)表現(xiàn)的比沒(méi)有的要好。
正則化方程L2 懲戒方程太過(guò)復(fù)雜。它測(cè)量每一個(gè)方程對(duì)于最終輸出的貢獻(xiàn)量，接著懲罰系數(shù)大的方程。
批量大小
另一個(gè)重要參數(shù)是批量大小，在每一步訓(xùn)練中的數(shù)據(jù)量。下面是一組大批量數(shù)據(jù)與小批量數(shù)據(jù)的對(duì)比。
就如你所見(jiàn)，大批量所需的周期更少但在訓(xùn)練中更精確。對(duì)比之下，小批量更隨機(jī)但需要消耗更多步來(lái)補(bǔ)償。
大批量不需要很多學(xué)習(xí)步驟。但是，你需要更多存儲(chǔ)空間和時(shí)間去計(jì)算每一步。
學(xué)習(xí)率
最后一個(gè)試驗(yàn)是對(duì)比大，中，小不同學(xué)習(xí)率的網(wǎng)絡(luò)。
學(xué)習(xí)率因其影響力被視為最重要的一個(gè)參數(shù)。它規(guī)范了如何在每一步學(xué)習(xí)過(guò)程中調(diào)節(jié)預(yù)測(cè)中的變化。如果這個(gè)學(xué)習(xí)率太高或者太低都無(wú)法收斂，就如上圖的大學(xué)習(xí)率一般。
設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)沒(méi)有特定的方式。很多是要通過(guò)試驗(yàn)來(lái)決定?？纯磩e人如何增加層數(shù)和如何調(diào)節(jié)高階參數(shù)的。
如果你有強(qiáng)大的計(jì)算能力，你可以設(shè)計(jì)一個(gè)程序和調(diào)節(jié)高階參數(shù)。
當(dāng)你完成了運(yùn)行工作，你應(yīng)當(dāng)為你的GPU云降低運(yùn)轉(zhuǎn)速度比如通過(guò)取消FloydHub網(wǎng)頁(yè)儀表盤(pán)來(lái)結(jié)束工作。
后續(xù)
在TFlearn的官方示例中（https://github.com/tflearn/tflearn/tree/master/examples/images），你能感受到一些表現(xiàn)優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)。試著運(yùn)用其中一些方式去提高CIFAR-10數(shù)據(jù)庫(kù)的驗(yàn)證集準(zhǔn)確率。目前最優(yōu)的結(jié)果是96.53%（Graham，2014）。
學(xué)習(xí)Python的語(yǔ)法和熟悉它的命令語(yǔ)句是非常值得的一件事。這可以有效減少不必要的認(rèn)知負(fù)荷從而全神貫注于深度學(xué)習(xí)概念上。從Codecademy的Python課開(kāi)始，接著做一些命令語(yǔ)句練習(xí)。如果只做這一件事，你花不到三天就能掌握。
原文鏈接：
https://medium.freecodecamp.org/deep-learning-for-developers-tools-you-can-use-to-code-neural-networks-on-day-1-34c4435ae6b
聯(lián)系客服
