免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
【深度學習】一文概覽神經(jīng)網(wǎng)絡(luò)模型

一、神經(jīng)網(wǎng)絡(luò)類別

一般的,神經(jīng)網(wǎng)絡(luò)模型基本結(jié)構(gòu)按信息輸入是否反饋,可以分為兩種:前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)。

1.1 前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network)中,信息從輸入層開始輸入,每層的神經(jīng)元接收前一級輸入,并輸出到下一級,直至輸出層。整個網(wǎng)絡(luò)信息輸入傳輸中無反饋(循環(huán))。即任何層的輸出都不會影響同級層,可用一個有向無環(huán)圖表示。

常見的前饋神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)、全連接神經(jīng)網(wǎng)絡(luò)(FCN)、生成對抗網(wǎng)絡(luò)(GAN)等。

1.2 反饋神經(jīng)網(wǎng)絡(luò)

反饋神經(jīng)網(wǎng)絡(luò)(Feedback Neural Network)中,神經(jīng)元不但可以接收其他神經(jīng)元的信號,而且可以接收自己的反饋信號。和前饋神經(jīng)網(wǎng)絡(luò)相比,反饋神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元具有記憶功能,在不同時刻具有不同的狀態(tài)。反饋神經(jīng)網(wǎng)絡(luò)中的信息傳播可以是單向也可以是雙向傳播,因此可以用一個有向循環(huán)圖或者無向圖來表示。

常見的反饋神經(jīng)網(wǎng)絡(luò)包括循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短期記憶網(wǎng)絡(luò)(LSTM)、Hopfield網(wǎng)絡(luò)和玻爾茲曼機。

二、經(jīng)典神經(jīng)網(wǎng)絡(luò)模型介紹

全連接神經(jīng)網(wǎng)絡(luò)(FCN)

全連接神經(jīng)網(wǎng)絡(luò)是深度學習最常見的網(wǎng)絡(luò)結(jié)構(gòu),有三種基本類型的層: 輸入層、隱藏層和輸出層。當前層的每個神經(jīng)元都會接入前一層每個神經(jīng)元的輸入信號。在每個連接過程中,來自前一層的信號被乘以一個權(quán)重,增加一個偏置,然后通過一個非線性激活函數(shù),通過簡單非線性函數(shù)的多次復(fù)合,實現(xiàn)輸入空間到輸出空間的復(fù)雜映射。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)

圖像具有非常高的維數(shù),因此訓練一個標準的前饋網(wǎng)絡(luò)來識別圖像將需要成千上萬的輸入神經(jīng)元,除了顯而易見的高計算量,還可能導致許多與神經(jīng)網(wǎng)絡(luò)中的維數(shù)災(zāi)難相關(guān)的問題。卷積神經(jīng)網(wǎng)絡(luò)提供了一個解決方案,利用卷積和池化層,來降低圖像的維度。由于卷積層是可訓練的,但參數(shù)明顯少于標準的隱藏層,它能夠突出圖像的重要部分,并向前傳播每個重要部分。傳統(tǒng)的CNNs中,最后幾層是隱藏層,用來處理“壓縮的圖像信息”。

殘差網(wǎng)絡(luò)(ResNet)

深層前饋神經(jīng)網(wǎng)絡(luò)有一個問題,隨著網(wǎng)絡(luò)層數(shù)的增加,網(wǎng)絡(luò)會發(fā)生了退化(degradation)現(xiàn)象:隨著網(wǎng)絡(luò)層數(shù)的增多,訓練集loss逐漸下降,然后趨于飽和,當再增加網(wǎng)絡(luò)深度的話,訓練集loss反而會增大。為了解決這個問題,殘差網(wǎng)絡(luò)使用跳躍連接實現(xiàn)信號跨層傳播。

生成對抗網(wǎng)絡(luò)(GAN)

生成對抗網(wǎng)絡(luò)是一種專門設(shè)計用于生成圖像的網(wǎng)絡(luò),由兩個網(wǎng)絡(luò)組成: 一個鑒別器和一個生成器。鑒別器的任務(wù)是區(qū)分圖像是從數(shù)據(jù)集中提取的還是由生成器生成的,生成器的任務(wù)是生成足夠逼真的圖像,以至于鑒別器無法區(qū)分圖像是否真實。隨著時間的推移,在謹慎的監(jiān)督下,這兩個對手相互競爭,彼此都想成功地改進對方。最終的結(jié)果是一個訓練有素的生成器,可以生成逼真的圖像。鑒別器是一個卷積神經(jīng)網(wǎng)絡(luò),其目標是最大限度地提高識別真假圖像的準確率,而生成器是一個反卷積神經(jīng)網(wǎng)絡(luò),其目標是最小化鑒別器的性能。

變分自動編碼器(VAE)

自動編碼器學習一個輸入(可以是圖像或文本序列)的壓縮表示,例如,壓縮輸入,然后解壓縮回來匹配原始輸入,而變分自動編碼器學習表示的數(shù)據(jù)的概率分布的參數(shù)。不僅僅是學習一個代表數(shù)據(jù)的函數(shù),它還獲得了更詳細和細致的數(shù)據(jù)視圖,從分布中抽樣并生成新的輸入數(shù)據(jù)樣本。

Transformer

Transformer是Google Brain提出的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu),由經(jīng)典的Encoder-Decoder模型組成。在上圖中,整個Encoder層由6個左邊Nx部分的結(jié)構(gòu)組成。整個Decoder由6個右邊Nx部分的框架組成,Decoder輸出的結(jié)果經(jīng)過一個線性層變換后,經(jīng)過softmax層計算,輸出最終的預(yù)測結(jié)果。

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN)

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種特殊類型的網(wǎng)絡(luò),它包含環(huán)和自重復(fù),因此被稱為“循環(huán)”。由于允許信息存儲在網(wǎng)絡(luò)中,RNNs 使用以前訓練中的推理來對即將到來的事件做出更好、更明智的決定。為了做到這一點,它使用以前的預(yù)測作為“上下文信號”。由于其性質(zhì),RNNs 通常用于處理順序任務(wù),如逐字生成文本或預(yù)測時間序列數(shù)據(jù)(例如股票價格)。它們還可以處理任意大小的輸入。

長短期記憶網(wǎng)絡(luò)(LSTM)

LSTM結(jié)構(gòu)是專門為解決RNN在學習長的的上下文信息出現(xiàn)的梯度消失、爆炸問題而設(shè)計的,結(jié)構(gòu)中加入了內(nèi)存塊。這些模塊可以看作是計算機中的內(nèi)存芯片——每個模塊包含幾個循環(huán)連接的內(nèi)存單元和三個門(輸入、輸出和遺忘,相當于寫入、讀取和重置)。信息的輸入只能通過每個門與神經(jīng)元進行互動,因此這些門學會智能地打開和關(guān)閉,以防止梯度爆炸或消失。

Hopfield網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)是一種單層互相全連接的反饋型神經(jīng)網(wǎng)絡(luò)。每個神經(jīng)元既是輸入也是輸出,網(wǎng)絡(luò)中的每一個神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元,同時又都接收所有其它神經(jīng)元傳遞過來的信息。

三、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的思考

實踐中,我們除了結(jié)合任務(wù)直接選用一些經(jīng)典神經(jīng)模型做驗證,有時也需要對網(wǎng)絡(luò)結(jié)構(gòu)做設(shè)計優(yōu)化。網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計需要考慮的2個實質(zhì)問題是:

  • 神經(jīng)單元應(yīng)該如何連接?
  • 需要有多少神經(jīng)元?

3.1 神經(jīng)單元應(yīng)該如何連接?

也就是神經(jīng)網(wǎng)絡(luò)基本的架構(gòu)如何設(shè)計,有兩種設(shè)計思路:

  • 將人類先驗嵌入到模型結(jié)構(gòu)設(shè)計 例如,基于圖像任務(wù)的平移不變性的卷積假設(shè)設(shè)計的CNN,或者基于語言的遞歸性質(zhì)的遞歸假設(shè)設(shè)計的RNN。對于先驗知識,可以憑借經(jīng)驗做網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計無疑是相對高效的,但太多復(fù)雜經(jīng)驗的注入,一來不夠“優(yōu)雅”,二來如果經(jīng)驗有誤,設(shè)計的結(jié)構(gòu)可能就失效了。

  • 通過機器動態(tài)學習和計算出的結(jié)構(gòu) 如神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS),常見的搜索方法包括:隨機搜索、貝葉斯優(yōu)化、進化算法、強化學習、基于梯度的算法。

3.2、需要有多少神經(jīng)元?

神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層與輸出層構(gòu)成:

  • 輸入層:為數(shù)據(jù)特征輸入層,輸入數(shù)據(jù)特征維數(shù)就對應(yīng)著網(wǎng)絡(luò)的神經(jīng)元數(shù)。
  • 隱藏層:即網(wǎng)絡(luò)的中間層,其作用接受前一層網(wǎng)絡(luò)輸出作為當前的輸入值,并計算輸出當前結(jié)果到下一層。隱藏網(wǎng)絡(luò)神經(jīng)元個數(shù)直接影響模型的擬合能力。-輸出層:為最終結(jié)果輸出的網(wǎng)絡(luò)層。輸出層的神經(jīng)元個數(shù)代表了分類類別的個數(shù)(注:在做二分類時,如果輸出層的激活函數(shù)采用sigmoid,輸出層的神經(jīng)元個數(shù)為1個;如果采用softmax分類器,輸出層神經(jīng)元個數(shù)為2個是與分類類別個數(shù)對應(yīng)的;)

對于網(wǎng)絡(luò)的輸入層、輸出層的神經(jīng)元通常是確定的,主要需要考慮的是隱藏層的深度及寬度,在忽略網(wǎng)絡(luò)退化問題的前提下,通常隱藏層的神經(jīng)元(計算單元)的越多,模型有更多的容量(capcity)去達到更好的擬合效果。

搜索合適的網(wǎng)絡(luò)深度及寬度,常用有人工調(diào)參、隨機搜索、貝葉斯優(yōu)化等方法。這里有個引申問題:

增加神經(jīng)網(wǎng)絡(luò)寬度vs深度的效果有什么差異呢?

  • 1、擬合效果上,增加深度遠比寬度高效 同等效果上,要增加的寬度遠大于增加的深度。在Delalleau和Bengio等人的論文《Shallow vs. Deep sum-product networks》中提出,對于一些特意構(gòu)造的多項式函數(shù),淺層網(wǎng)絡(luò)需要指數(shù)增長的神經(jīng)元個數(shù),其擬合效果才能匹配上多項式增長的深層網(wǎng)絡(luò)。

  • 2、參數(shù)規(guī)模上,增加深度遠比寬度需要的參數(shù)少

以上圖神經(jīng)網(wǎng)絡(luò)為例,將單層寬度增加3個神經(jīng)元,會新增6個與之相連前后層的權(quán)重參數(shù)。而直接新增一個3個神經(jīng)元的網(wǎng)絡(luò)層,只會新增3個的權(quán)重參數(shù)。

  • 3、 功能上,深度層功能類似于“生成特征”,而寬度層類似于“記憶特征” 增加網(wǎng)絡(luò)深度可以獲得更抽象、高層次的特征,增加網(wǎng)絡(luò)寬度可以獲得更豐富的特征。

當然,深度和寬度并不是完全對立的關(guān)系,增加深度和寬度都是在增加可學習參數(shù)的個數(shù),從而增加神經(jīng)網(wǎng)絡(luò)的擬合能力,在網(wǎng)絡(luò)設(shè)計需要追求深度與廣度的平衡。


本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
深度學習的發(fā)展歷史及應(yīng)用現(xiàn)狀
【深度學習會被可微分編程取代?】展望30年后的神經(jīng)網(wǎng)絡(luò)和函數(shù)編程
就喜歡看綜述論文:情感分析中的深度學習
你不得不了解的8種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)!
看了這篇文章才發(fā)現(xiàn),之前對深度學習的了解太淺了
轉(zhuǎn)型AI產(chǎn)品經(jīng)理需要掌握的硬知識二:AI常見概念和算法梳理
更多類似文章 >>
生活服務(wù)
分享 收藏 導長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服