免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

「今天的智能化應(yīng)用越來越離不開 GPU、TensorFlow 這樣的硬件和框架了。但如果我們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)之外更好的模型，深度神經(jīng)網(wǎng)絡(luò)的壟斷自然就會被打破。」在由第四范式承辦的國際前沿算法峰會上，南京大學(xué)教授周志華這樣說道。

「事實上計算機是可以做到無監(jiān)督學(xué)習(xí)的，它們每天都在提升水平，」Mitchell 表示?！肝覀儚膫鹘y(tǒng)的單一函數(shù)學(xué)習(xí)框架擴展到了多函數(shù)的方法。今天，我們已經(jīng)擁有 4000 余種分類方法，實現(xiàn)了前所未有的準確性?！?/section>

AutoML 和聯(lián)邦遷移學(xué)習(xí)

AI 發(fā)展到今天面臨很多挑戰(zhàn)，尤其是數(shù)據(jù)挑戰(zhàn)。數(shù)據(jù)孤島、小數(shù)據(jù)、用戶隱私的保護等導(dǎo)致數(shù)據(jù)的割裂，讓 AI 技術(shù)很難發(fā)揮出價值。為了解決這一問題，國際人工智能學(xué)會理事長，香港科技大學(xué)教授，香港人工智能及機器人學(xué)會創(chuàng)會理事長楊強教授提出了「聯(lián)邦學(xué)習(xí)」的研究方向。

所謂聯(lián)邦學(xué)習(xí)，是多個數(shù)據(jù)方之間組成一個聯(lián)盟，共同參與到全局建模的建設(shè)中，各方之間在保護數(shù)據(jù)隱私和模型參數(shù)基礎(chǔ)上，僅共享模型加密后的參數(shù)，讓共享模型達到更優(yōu)的效果。而在昨天的活動中，楊強又介紹了 AutoML 和聯(lián)邦遷移學(xué)習(xí)。

「人工智能的這一輪浪潮已經(jīng)開始幾年了，學(xué)界還不斷在有新的算法出現(xiàn)，」楊強表示?！高^去，機器學(xué)習(xí)算法中的參數(shù)需要人工調(diào)整。而今天的 AutoML、模型搜索等技術(shù)已經(jīng)可以部分自動化算法的設(shè)計和算法的配置了?！?/section>

今天的人工智能仍然大量依賴于人類專家的工作，但就像傳統(tǒng)工業(yè)最后會向自動化發(fā)展一樣，人工智能的新方向 AutoML 希望通過自動化的機器學(xué)習(xí)將調(diào)參、特征工程等工作由機器來完成。

「從數(shù)學(xué)的角度看來，AutoML 是讓目標(biāo)函數(shù)學(xué)習(xí)機器學(xué)習(xí)參數(shù)，從配置里學(xué)習(xí)最佳參數(shù)，」楊強介紹道?！冈诙x中參數(shù)的量是巨大的，維度可能高達上億，在其中要尋找最佳的點由人來做非常困難，本身就應(yīng)該由機器來完成。在找出不同的函數(shù)之后，不同的函數(shù)也要做對比和評估，評估的過程也可以自動化?！?/section>

如何自動化地進行模型優(yōu)化？目前看來，很多地方都可以進行 AutoML，首先是配置空間，其次是數(shù)據(jù)的預(yù)處理，另外還有特征的抽取和處理，最后是模型的訓(xùn)練。

遷移學(xué)習(xí)是在多個不同領(lǐng)域之間訓(xùn)練的，其中的遷移過程往往是由人類專家來設(shè)計的。在學(xué)術(shù)上有很多的研究，這種遷移是不是也可以自動化？我們可以把它定義成路徑優(yōu)化的問題。在這一方面，第四范式最近還提出了可以保護隱私的自動遷移學(xué)習(xí)方法 AutoPTL。

在自動機器學(xué)習(xí)方向之外，另一個前沿領(lǐng)域是減少對于數(shù)據(jù)的依賴。目前深度網(wǎng)絡(luò)的知識遷移，其做法通常是通過預(yù)訓(xùn)練——我們可以識別出哪一層模型可以原封不動地遷移到需要的模型中，另一部分則需要通過新數(shù)據(jù)的訓(xùn)練讓它適應(yīng)新任務(wù)。

這種遷移學(xué)習(xí)方法被應(yīng)用在了不同場景，如銀行大額貸款等場景中。而在面臨數(shù)據(jù)割裂的情況下，我們還需要讓幾種數(shù)據(jù)建立一個共享的模型，但在建立的過程中不交換數(shù)據(jù)，只是交換加密保護的模型參數(shù)?！高@種做法的效果就像是融合了多種數(shù)據(jù)的訓(xùn)練，這就是聯(lián)邦學(xué)習(xí)。同時我們也要考慮到，數(shù)據(jù)的交叉非常小，這一點上我們可以使用遷移學(xué)習(xí)，結(jié)合起來我們就叫聯(lián)邦遷移學(xué)習(xí)。」

聯(lián)邦遷移學(xué)習(xí)不僅提高了效率，也可以保護數(shù)據(jù)，讓各個企業(yè)的自有數(shù)據(jù)不出本地，模型效果與直接合并訓(xùn)練一樣。對于銀行、電商、零售機構(gòu)非常友好，讓他們的數(shù)據(jù)可以聚合，通過隱私保護的方法來實現(xiàn)更高程度的自動化。

在楊強教授的愿景中，聯(lián)邦遷移學(xué)習(xí)最終的目的是形成一個生態(tài)，包括互聯(lián)網(wǎng)的數(shù)據(jù)，以及場景中的數(shù)據(jù)，不同行業(yè)和不同的用戶行為數(shù)據(jù)進行有機的結(jié)合。

打破神經(jīng)網(wǎng)絡(luò)、GPU 和 TensorFlow 的壟斷

「現(xiàn)在我們每天都在談?wù)撋疃葘W(xué)習(xí)，這種方法取得了巨大成功。但它到底是什么？我們完全可以從工程上去解釋它?！笰CM、AAAI、IEEE Fellow, 南京大學(xué)計算機系主任、人工智能學(xué)院院長，歐洲科學(xué)院外籍院士周志華在主題為「新型深度學(xué)習(xí)的探索」的演講中說道，他的分享獲得了最多的掌聲。

我們今天談?wù)摰纳疃壬窠?jīng)網(wǎng)絡(luò)有很多層，我們經(jīng)?？吹綆浊拥哪Ｐ汀@是一種龐大的計算系統(tǒng)。我們要訓(xùn)練模型，就是在調(diào)整訓(xùn)練參數(shù)。

「人們今天總結(jié)認為 AI 的快速發(fā)展是由大數(shù)據(jù)，強大的網(wǎng)絡(luò)和算力，以及算法的改進引起的。有一個錯誤的觀點認為有強大的算力，把老算法放在新機器上就可以成功了，」周志華說道?！甘聦嵣希?xùn)練深層神經(jīng)網(wǎng)絡(luò)的算力在 20 世紀 90 年代就已經(jīng)具備。但我們使用反向傳播方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要做梯度優(yōu)化，否則就會出現(xiàn)梯度消失問題。直到 2006 年，Geoffrey Hinton 才通過逐層訓(xùn)練的方法解決了這個問題。」

今天的深度神經(jīng)網(wǎng)絡(luò)雖然很成功，但還是有很多問題需要研究。我們?yōu)槭裁匆龅纳?？直到今天學(xué)術(shù)界都沒有一個公認的解釋。

南京大學(xué)的學(xué)者們?nèi)藶?，從模型?fù)雜度上看，我們建立的模型需要有泛化能力，它和模型的容量有聯(lián)系，因而我們需要提高復(fù)雜度。因此，把神經(jīng)網(wǎng)絡(luò)變得更寬、更深就可以讓它更加有效。變寬就是增加了函數(shù)的個數(shù)，變深不僅增加了個數(shù)，還增加了嵌套迭代的數(shù)量。今天，我們利用大數(shù)據(jù)訓(xùn)練將過擬合的風(fēng)險大大降低，而強大的算力和新的算法、訓(xùn)練技巧也在別的方面解決了很多挑戰(zhàn)——我們可以使用高復(fù)雜度的模型了，而深度神經(jīng)網(wǎng)絡(luò)就是一個高復(fù)雜度模型。

「但這仍然沒有解釋為什么深的就是好的，淺的就是不好的。為什么有了這三個條件淺的不好，深的就是好的呢？」周志華說道。「現(xiàn)在的理論不能回答這個問題。再深入下去，深度神經(jīng)網(wǎng)絡(luò)最重要的作用是什么？我們認為最重要的是表示學(xué)習(xí)。今天有了深度學(xué)習(xí)之后，特征完全是機器自己學(xué)出來的，我們認為表示學(xué)習(xí)很重要。」

周志華等人認為，深度神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是逐層加工處理、內(nèi)置特征變化、高度的模型復(fù)雜度。做到這三點，我們就能做到一個好的深度神經(jīng)網(wǎng)絡(luò)。

而更重要的結(jié)論是：「這三點猜測沒有說非要神經(jīng)網(wǎng)絡(luò)不可，我們可以研究神經(jīng)網(wǎng)絡(luò)之外的模型?！?/section>

周志華等人提出的深度森林就是這樣的模型。深度神經(jīng)網(wǎng)絡(luò)有很多的缺陷，從應(yīng)用的角度來看，也有很多理由來研究神經(jīng)網(wǎng)絡(luò)之外的模型。

「機器學(xué)習(xí)早就知道，沒有任何一個模型可以包打天下。」周志華表示。

深度森林自提出以后就獲得了 Hinton 等眾多著名學(xué)者的關(guān)注，并已經(jīng)在應(yīng)用上取得了一定成功?！肝覀冏罱鸵患覈鴥?nèi)互聯(lián)網(wǎng)金融巨頭合作，研究了算法檢測非法套現(xiàn)的方法，」周志華介紹道。「在其平臺上，訓(xùn)練數(shù)據(jù)達到了 1 億 3000 萬次真實交易，測試數(shù)據(jù)則是 5200 萬次真實交易。為此，這家公司還實現(xiàn)了大規(guī)模分布式版本。在這個任務(wù)上，深度森林獲得了最好的結(jié)果，這驗證了前面的猜想，這個任務(wù)中有大量符號化的內(nèi)容。在這種混合建模、非數(shù)值建模上，森林模型確實找到了它的用途?！?/section>

我們現(xiàn)在還不知道森林模型能走多遠，在未來出現(xiàn)更為合適的硬件之后，深度森林才可以變得更深。但周志華等人的研究驗證了設(shè)計神經(jīng)網(wǎng)絡(luò)之外的深度模型是完全有可能的。

「今天，深度森林在實驗中做到 21 層就做不下去了，其中很大一部分原因在于沒有找到適合加速的硬件，」周志華表示?！肝覀儼l(fā)現(xiàn)英特爾的 KNL 芯片，它雖然頻率不高，但十分適合深度森林的計算?，F(xiàn)代的智能應(yīng)用需要框架和特殊硬件，從另一個角度來看，打破神經(jīng)網(wǎng)絡(luò)、GPU、TensorFlow 等硬件和技術(shù)的壟斷也可以降低智能化時代『缺芯少魂』的風(fēng)險?！?/section>

數(shù)學(xué)方法重塑 Transformer

深度學(xué)習(xí)今天絕大部分成功似乎都是應(yīng)用上的成功，在理論上還存在著大量的空白。北京大學(xué)信息學(xué)院教授王立威向我們介紹了使用全新方法探索算法和模型結(jié)構(gòu)的思路。

今天常見的深度學(xué)習(xí)優(yōu)化算法 Adam、AdaGrad 等都屬于一階優(yōu)化方法。我們能不能通過理論研究找到更好更快的算法呢？王立威介紹了北京大學(xué)最近的研究方向。

深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是一個非凸優(yōu)化問題。一階優(yōu)化方法很容易找到局部最優(yōu)，而不是全局最優(yōu)點。然而，今天的訓(xùn)練方法經(jīng)?？梢员荛_局部最優(yōu)，這是一個非常反直覺的情況。「我們在數(shù)學(xué)上，通過兩條假設(shè)（每一層神經(jīng)元的數(shù)量足夠大，隨機初始化參數(shù)服從高斯分布）可以從理論上嚴格地證明，一階優(yōu)化就可以很高幾率地找到全局最優(yōu)點?！?/section>

通過數(shù)學(xué)的方式，我們就可以得出全新的結(jié)論：過去我們一直認為深度學(xué)習(xí)是非凸優(yōu)化問題，在兩條假設(shè)下，實際上網(wǎng)絡(luò)的輸出對于網(wǎng)絡(luò)的參數(shù)是非常接近線性的。這就大大簡化了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方向。

因此，我們可以找到更好的，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法——在網(wǎng)絡(luò)足夠?qū)挼那闆r下，我們可以引入很多二階優(yōu)化方法來完成工作。王立威認為，有一類算法：高斯牛頓法對于這種情形非常合適。這種方法比現(xiàn)在的方法效率更高，準確性也更高，是未來值得探索的方向。

「既不同于人類手動設(shè)計，也不同于 AutoML 和自動搜索，我們把網(wǎng)絡(luò)設(shè)計引申為數(shù)學(xué)問題，」王立威說道?！肝覀兛梢园丫W(wǎng)絡(luò)的結(jié)構(gòu)和微分方程的數(shù)值解緊密地聯(lián)系起來。這種觀點最早是由北京大學(xué)的學(xué)者們提出的。在去年的 AI 頂會 NeurIPS 上，最佳論文也頒發(fā)給了神經(jīng)網(wǎng)絡(luò)和微分方程聯(lián)系的研究?！?/section>

王立威昨天分享的新成果是從微分方程的角度來研究 Transformer，這一算法在今天的自然語言處理領(lǐng)域中已是性能最好的結(jié)構(gòu)。

從微分方程數(shù)值解的角度來看待這種結(jié)構(gòu)，我們可以找到唯一一個與之對應(yīng)的方法。對于 ResNet 我們找到了歐拉法。對于 Transformer，研究者們找到了對流擴散方程。

它和 Transformer 著有非常緊密的關(guān)系——Transformer 對應(yīng)了對流擴散方程中一種非?；镜姆椒?Lie-Trotter splitting?！溉欢谖⒎址匠虜?shù)值解中沒有人會去使用 Lie-Trotter splitting 方法，因為它是次優(yōu)的，」王立威表示。「在數(shù)學(xué)上我們有更好的方法：Strang-Marchuk splitting。由此觀之，反推回去是否就可以找到更好的 Transformer 結(jié)構(gòu)？我們用新的微分方程數(shù)值解，的確找到了更好的結(jié)構(gòu)?！?/section>

通過數(shù)學(xué)方法，北京大學(xué)的研究者們對 Transformer 進行了簡單的結(jié)構(gòu)調(diào)整，并獲得了非常顯著的性能提升。

新算法的落地

在演講過后，OpenML 創(chuàng)始人 Joaquin Vanschoren、Data lab 負責(zé)人 Xia 'Ben' Hu、墨西哥 INAOE 教授 Hugo Jair Escalante、早稻田大學(xué)教授 Tetsuya Ogata 等人共同就 AI 算法的未來方向展開了討論。

而在以新算法應(yīng)用落地為主題的 Panel 環(huán)節(jié)中，地平線機器人創(chuàng)始人余凱、第四范式創(chuàng)始人戴文淵、思必馳聯(lián)合創(chuàng)始人俞凱、新思科技全球資深副總裁 Chekib Akrout 和科技部原副司長蔡文沁分享了各自的觀點。

對于業(yè)界來說，現(xiàn)在最重要的事情或許不是尋求算法的突破，而是為算法尋求價值?！妇矸e神經(jīng)網(wǎng)絡(luò)實際上在 1987 年就已經(jīng)被發(fā)明出來了，反向傳播算法則是在 1986 年出現(xiàn)的，」余凱說道?！杆惴ǖ睦碚撗芯吭?30 多年來并沒有翻天覆地的變化，但另一方面，摩爾定律是不會減緩的?！?/section>

「在 2015 年，每 1000 美元能買到的算力和一只老鼠大腦的算力是一樣的。我們知道，老鼠和人類大腦算力的差別約為 1000 倍。根據(jù)摩爾定律，到 2025 年的時候，1000 美元買到的算力就會相當(dāng)于人類的大腦水平。這樣，自動駕駛等問題或許就可以得到解決了。在未來十年里，很多技術(shù)的發(fā)展都會超出我們的想象?！褂鄤P表示。

「理論上，每一件事情都有可能被人工智能化，」戴文淵表示?！脯F(xiàn)在也有很多已被 AI 解決的問題，比如能源企業(yè)設(shè)備運維、金融行業(yè)的反欺詐。今天請科學(xué)家做三五個月研發(fā)的成本可能是幾百萬，但其帶來的收益會是成本的數(shù)倍。在人工智能開發(fā)門檻降低之后，我們會看到更多的工作將會被 AI 輔助。」

戴文淵認為，未來的人工智能發(fā)展方向在于通過 AutoML 等技術(shù)降低應(yīng)用的門檻，從而讓更多人能夠利用 AI 提高生產(chǎn)效率：「我對于未來最大的期待，是希望每年讓 AI 開發(fā)者的人數(shù)提升一個數(shù)量級。AI 的爆發(fā)需要大量的開發(fā)者，就像移動互聯(lián)網(wǎng)一樣。第四范式一直致力于讓普通人能夠駕馭 AI。