就在這兩天的 NeurIPS 2022 New in ML Workshop 上，Yoshua Bengio 做了一個 Live Talk，介紹了自己從本科畢業(yè)開始，一直到現(xiàn)在的人生之路。鏈接: https://nehzux.github.io/NewInML2022NeurIPS/assets/YoshuaBengio-NewInML-NeurIPS-28nov2022.pdf接下來，就是Bengio在大會上親口講述“自己一生”的故事。從最初本科畢業(yè)時的“廣度優(yōu)先搜索”，了解到 Hinton 的連接主義， 到探索人腦、初代語言模型、注意力機制等等，以及度過人工智能寒冬，再到現(xiàn)在探索抽象、生成流網(wǎng)絡(luò)、Ai4Science、HLAI(人類級別智能)、意識先驗、System-2、因果推斷、元學(xué)習(xí)、模塊化等重要且新穎的領(lǐng)域。Yoshua Bengio 回顧了自己的科研生涯，他說“Staying Humble”。
愛上一個研究方向
一開始，Yoshua 講述了“他是如何愛上一個研究方向”。
1985 - 1986 年，他剛讀完本科，思索自己下一步要做什么，閱讀了大量不同領(lǐng)域的論文，將視線聚焦于神經(jīng)網(wǎng)絡(luò)研究，尤其是 Geoff Hinton 和 David Rumelhart 等其他早期連接主義者的論文。
神經(jīng)網(wǎng)絡(luò)與人工智能隨后，Yoshua 闡述了自己的工作中對于神經(jīng)網(wǎng)絡(luò)與 AI 的理解。從一個令人興奮的先驗知識出發(fā)，他指出，通過學(xué)習(xí)，智能（機器、人類或動物）的產(chǎn)生是有一些原則的，這些原則非常簡單，可以被簡潔地描述出來，類似于物理定律，也就是說，我們的智能不只是一堆技巧和知識的結(jié)果，而是獲取知識的一般機制。
他還辨析了傳統(tǒng) AI 和機器學(xué)習(xí)的要點，提到了人工智能的機器學(xué)習(xí)方法：
經(jīng)典的 AI 一般是基于規(guī)則、基于符號的：其知識由人類提供，但直覺知識是不可傳播的，機器只做推理工作，沒有很強的學(xué)習(xí)和適應(yīng)能力，對不確定性的處理能力不足。
