04-25智東西訂閱
↑長按名稱復制該公眾號去微信關(guān)注
全球深度學習兩大巨頭發(fā)起，科技圈爭相砸錢，ICLR牛在哪？
智東西 文 | Lina
智東西4月25日消息，今天，為期三天的ICLR國際學習表征會議（International Conference on Learning Representations）在法國土倫舉行。
可別小看ICLR這個名字拗口的大會，它可是由深度學習三巨頭之二——Yann LeCun和Yoshua Bengio共同組織舉辦的，ICLR雖然只舉辦了5年，但隨著深度學習的日漸火熱，這一聲名鵲起的學術(shù)大會已然成為深度學習領(lǐng)域最重要的會議之一。
這三天里，來自世界各地的機器學習專家大牛集聚一堂，探討有關(guān)表征學習、深度學習等最技術(shù)中最為前沿的發(fā)展。其研究主旨大概可以總結(jié)為一句：如何讓算法的應用更廣、消耗更少、開源節(jié)流。這些技術(shù)應用的領(lǐng)域范圍也非常廣泛，視覺、語音、文字理解、游戲、音樂等等，不一而足。（大會的21個演講見文內(nèi)表格）
本文將介紹ICLR的3篇最佳論文、6位學術(shù)大牛、21個主題演講、以及業(yè)內(nèi)人士對于這個會議態(tài)度不一的看法，還有贊助商小八卦喲~
（左Yoshua Bengio，右Yann LeCun）
從1999年以來，Yann LeCun和Yoshua Bengio這兩位大牛就一同組織過不少學術(shù)研討會，第一屆ICLR在2013年美國亞利桑州斯科茨代爾市舉辦，共有28篇論文入選，今年這一數(shù)字飆升到了648篇（490篇Conforence Track公開論文，以及158篇Workshop Track研討會論文）
主辦人之一Yann LeCun是現(xiàn)任Facebook人工智能研究院的院長，兼任美國紐約大學教授，同時還是深度學習重要分支——卷積神經(jīng)網(wǎng)絡（CNN, Convolutional Neural Nets）的發(fā)明人之一；此前曾來北京清華大學做過一次《深度學習與AI未來》的主題演講，智東西也去到了現(xiàn)場（完整版現(xiàn)場PPT下載方式見文后）。
至于Yoshua Bengio則是加拿大蒙特利爾大學的全職教授，同時也是蒙特利爾學習算法研究所（MILA）的負責人；Google去年年底宣布在蒙特利爾設立一個深度學習和人工智能研究部門，并為包括Yoshua Bengio在內(nèi)的蒙特利爾學習算法學院8為學究提供了337萬美元的研究資金。
（人聲鼎沸的大會現(xiàn)場）
雖然大會才剛剛拉開帷幕，但是其中三篇最佳論文已經(jīng)在開幕前由ICLR組委會評選而出。大會舉行的三天當中，每天都有一篇最佳論文的演講。這三篇論文的主題分別為：簡化神經(jīng)編程算法架構(gòu)、保護訓練數(shù)據(jù)隱私、以及一篇最具爭議性的——主題為實際談論模型復雜性的論文。
這三篇最佳論文分別為：
1、《了解深度學習需要重新思考泛化 (Understanding deep learning requires rethinking generalization)》
本文來自美國麻省理工大學、谷歌、以及加州伯克利大學，第一署名作者為麻省理工大學的Chiyuan Zhang。
概要：基于同樣大數(shù)據(jù)樣本的不同算法也能獲得相似結(jié)論，一個具有足夠規(guī)模參數(shù)的簡單淺層網(wǎng)絡能夠產(chǎn)生完美的有限樣本表達性。文章引入非結(jié)構(gòu)化的噪音數(shù)據(jù)進行測試，證實了圖像識別算法模型的可靠性。
2、《基于隱私數(shù)據(jù)訓練的半監(jiān)督式知識轉(zhuǎn)化深度學習算法 (Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data)》
本文來自賓夕法尼亞州立大學、谷歌、以及OpenAI，第一署名作者為賓夕法尼亞州立大學的Nicolas Papernot。
概要：由于一些機器學習應用（如臨床醫(yī)療病例）的的訓練涉及到敏感數(shù)據(jù)，而模型可能會無意中泄露用戶隱私，文章引入噪音數(shù)據(jù)和黑盒算法，實現(xiàn)對隱私數(shù)據(jù)的保護。
3、《通過遞歸法使神經(jīng)編程架構(gòu)更為廣泛化 (Making Neural Programming Architectures Generalize via Recursion)》
本文來自加州大學伯克利分校，聯(lián)合署名作者為：Jonathon Cai, Richard Shin, Dawn Song。
概要：由于通過數(shù)據(jù)學習的神經(jīng)網(wǎng)絡比較雜亂，本文提出了一種應用于神經(jīng)網(wǎng)絡解譯程式的遞歸算法，包括四項任務：基礎運算、冒泡算法、拓撲類、快速排序，將任務細分化，增強數(shù)據(jù)訓練的準確性。
值得一提的是第一篇《了解深度學習需要重新思考泛化》論文，文章一經(jīng)評選，立刻引發(fā)一陣激烈討論。有人認為這篇論文做了一項十分具有顛覆性的工作，將會啟發(fā)未來數(shù)年里有關(guān)深度學習的研究；也有人認為這篇論文被高估了，其中指出泛化對隨機標簽是個糟糕的問題這個觀點“沒有什么意思”；不過，大多人也有不少人與智東西持一樣的態(tài)度，有爭議、能夠引發(fā)大家討論的文章，才是有意思的文章，畢竟深度學習還是一門發(fā)展中的科學，好與壞本身都太主觀。
除了三篇最佳論文外，ICLR還別出心裁地設立了最佳評論獎，選出了15位對論文內(nèi)容的評論及后續(xù)討論最有價值的留言者，每位給予100美元的鼓勵。
如上文提到的，從大會的整體趨勢而言，研究主旨大概可以總結(jié)為一句：如何讓算法的應用更廣、消耗更少、開源節(jié)流。而細分到具體論文主題則包括：尋找廣義算法、解決大數(shù)據(jù)處理/圖像信息處理的問題、引入數(shù)學/統(tǒng)計學優(yōu)化算法提高效率和容錯性/魯棒性、多任務合作等。
大會邀請了15位論文發(fā)布者進行演講展示，其中就包括了三篇最佳論文。此外還有6位相關(guān)領(lǐng)域的大牛進行特邀嘉賓演講，六位演講嘉賓包括：
1）Eero Simoncelli，美國紐約大學白銀教授（Yann LeCun在紐約大學也是這個稱號，Silver Professor），IEEE 國際電子技術(shù)與信息科學工程師協(xié)會會員。
2）Benjamin Recht，美國加州伯克利大學電子工程和計算機科學學院。
3）Chloé-Agathe Azencott，法國巴黎高等礦業(yè)學院計算生物學系，法國巴黎居里研究所及法國國家科研中心研究員。
4）Riccardo Zecchina，意大利博科尼大學理論物理學系，都靈人類基因基金會項目負責人。
5）Regina Barzilay，美國麻省理工大學電氣工程及計算機科學系，微軟研究員，麻省理工大學自然語言處理研究小組成員。
6）Alex Graves，加拿大多倫多大學計算機科學系。值得一提的是，多倫多大學計算機科學系負責人Geoffrey Hinton正是第三位深度學習巨頭，除了教授身份外，Geoffrey Hinton還任谷歌大腦的多倫多分布負責人，同時也是多倫多向量學院的首席科學顧問。曾在2012年的ImageNet比賽中憑借深度學習一舉創(chuàng)下計算機圖片分辨正確率新高。
（左Geoffrey Hinton，右Yann LeCun）
大會所有演講的流程如下：
好了，學術(shù)講得差不多了，我們說點有趣的——ICLR贊助商的變遷歷史，仔細探究會發(fā)現(xiàn)非常有趣。細心的人在看到上文演講流程時會發(fā)現(xiàn)，有三部分會議環(huán)節(jié)中標注著“百度贊助”、“谷歌贊助”和“亞馬遜贊助”。ICLR的贊助商分為白金、金、銀、銅四個級別，毫不意外地，這三家企業(yè)都是白金級別的贊助商，也都是在近期十分看重人工智能、深度學習的企業(yè)。尤其是谷歌，從2013年的第一屆ICLR開始就開始對其進行贊助。
除了百度、谷歌、亞馬遜之外，今年的白金贊助商還有DeepMind、Facebook、英特爾、英偉達、Salesforce。去年的白金贊助商只有4個，今年多達8個，猛增了一倍之多，可見各家企業(yè)對深度學習及這場大會的重視程度。值得一提的，國內(nèi)創(chuàng)企深鑒科技也在贊助商的名單上，其聯(lián)合創(chuàng)始人韓松有兩篇論文入選。
（2017年ICLR贊助商名單）
（英偉達在ICLR會上的展臺）
智東西也去問到了AI及深度學習的從業(yè)者們，看看他們是怎么看待這場熱鬧的大會的。
在回答智東西提出的“我們大概什么時候能看到ICLR的新技術(shù)的應用落地？”時，身處土倫現(xiàn)場的英偉達大中華區(qū)高性能計算及Applied Deep Learning部門技術(shù)總監(jiān)賴俊杰博士表示，這個會議相對來說不是特別重視應用。而他本次的關(guān)注點也并非最佳論文，而是更側(cè)重訓練加速（Training Acceleration）、量化（Quantification）、剪枝法（Pruning）等領(lǐng)域，尤其是在剪枝法方面，馬里蘭大學和英偉達研究院都有一些相關(guān)技術(shù)的新進展。
網(wǎng)友李嫣然則從更學術(shù)的角度解讀了本次ICLR，她認為縱觀本次ICLR 2017論文可以看出，GAN（生成式對抗網(wǎng)絡）確實火得不能再火。在這次 ICLR 2017全部GAN 的論文里，主要集中在三個方向：如何提高GAN穩(wěn)定性，用新角度/框架去理解和建模GAN，以及GAN 與 （semi）-supervised 的結(jié)合。而除了GAN外，其實Attention和 Memory這倆已經(jīng)火了兩年的方向也還在發(fā)展。
極視角聯(lián)合創(chuàng)始人羅韻更是直言道，“GAN簡直稱霸半邊天，Generative這個詞的出現(xiàn)頻率簡直。。厲害了word的哥。。?！?/p>
不過，行業(yè)內(nèi)也有不同聲音存在。曾在百度硅谷研究院工作、現(xiàn)為SLAM創(chuàng)企業(yè)Perceptln聯(lián)合創(chuàng)始人劉少山認為，（關(guān)于ICLR熱度不斷上升這方面）其實是挺好玩兒的一個現(xiàn)象。學術(shù)捧得比較高的一個東西，在到底在工程上能不能做，其實未必。在深度學習和SLAM各個方面我們看過很多論文很好，但未必能實現(xiàn)（的項目），很少像AlphaGo這樣，實現(xiàn)出來能有用，能應用到具體場景里面。
隨著2012年神經(jīng)網(wǎng)絡在ImageNet獲得重大突破以來，以深度學習為主的人工智能浪潮已經(jīng)漸漸涌來，在最近一年里更是勢頭強勁，迅速占領(lǐng)了街頭巷尾。無論你贊成還是反對，看好還是唱衰，深度學習都已經(jīng)來到了你身邊，從早年無人知曉的ICLR大會如今人滿為患、贊助廠商翻倍、論文如紙片般飛來的現(xiàn)狀可見一斑。
深度學習，這個看似玄幻的科技詞匯，已經(jīng)著著實實火了起來。
但也正是由于這股熱潮來臨，深度學習、機器學習、人工智能這三個概念被一度混淆，深度學習算法作為機器學習算法的一種，隸屬于人工智能這個大范疇內(nèi)。近年來，深度學習在語音、圖像的檢索分類方面取得突破性進展的同時，它在訓練數(shù)據(jù)過大、訓練時間過長、計算功耗太大、難以大范圍推廣應用等問題上依舊存在局限，并不是解決人工智能的萬能之策。
什么！不久前Yann LeCun也來清華做演講了？在智東西公眾號回復“Facebook”下載演講PPT！
每日一頭條
趨勢·深度·犀利·干貨，最專業(yè)的行業(yè)解讀
深喉爆料、投稿：guoren@zhidx.com
智東西誠聘記者/編輯/實習生
職位詳情回復“招聘”查看
簡歷至HR@zhidx.com
