唐旭 李林 編譯整理
量子位 出品 | 公眾號 QbitAI
最近，DeepMind在Arxiv上發(fā)布了Interpreting Deep Neural Networks using Cognitive Psychology，將認知心理學的方法引入深度神經(jīng)網(wǎng)絡的研究。
這是DeepMind入選今年ICML(機器學習國際會議)的論文之一。在公開論文的同時，他們還在官方博客上對這篇論文做了介紹。
為什么要用認知心理學方法來研究深度神經(jīng)網(wǎng)絡呢？
我們經(jīng)常在新聞中看到，深度神經(jīng)網(wǎng)絡的能力不斷提升，在圖像識別、語音識別以及玩各種游戲的能力上，一一超越了人類。
不過，隨之而來的也是越來越復雜的架構(gòu)，和越來越看不懂的決策過程。
也就是所謂的“黑箱”問題。
現(xiàn)在，每次提到深度學習，“黑箱”這個詞似乎如影隨形。DeepMind的論文中說，“這種不透明性不僅阻礙了嘗試提升這些模型的基礎(chǔ)性研究，也影響了它們在實際場景中的落地?！?/p>
怎么打開這個黑箱，成了研究界關(guān)注的一大問題。很多團隊想開發(fā)“可解釋的人工智能”，讓AI解釋自己的行為。但是，Google工程總監(jiān)、AI經(jīng)典教材《人工智能：一種現(xiàn)代的方法》的第二作者Peter Norvig說，這根本就行不通：
人類都不擅長不了自己，就別指望機器了。
DeepMind這篇論文，正是把研究人類心智這個大黑箱的方法，用到了深度神經(jīng)網(wǎng)絡上：通過測量神經(jīng)網(wǎng)絡的行為來推斷內(nèi)在的認知機制。
他們借用了一個用以說明人類認知過程的實驗，來理解深度神經(jīng)網(wǎng)絡怎樣解決圖像分類任務。
DeepMind這篇論文，借用了發(fā)展心理學中研究兒童如何學習物體和詞對應關(guān)系的方法，來分析深度神經(jīng)網(wǎng)絡。
認知心理學研究表明，人類兒童在將物體和詞對應起來的過程中，存在三種偏好：
整體偏好：當你指著一個物體，說出一個詞，孩子會假設(shè)這個詞指的的整個物體，而非部件；
分類偏好：孩子會假設(shè)一個詞指的是物體所屬的基本類別；
形狀偏好：孩子會假設(shè)一個名詞的意思是基于物體的形狀，而不是它的顏色或質(zhì)地。
DeepMind借用的，是研究形狀偏好的認知實驗，因為認知心理學在這方面的研究最為豐富。
DeepMind測量深度神經(jīng)網(wǎng)絡的形狀偏好所用的刺激物樣本，由印第安納大學認知發(fā)展實驗室提供
DeepMind所用的經(jīng)典形狀偏好實驗過程如下：
1. 給深度神經(jīng)網(wǎng)絡看三個物體的圖片：1）基本調(diào)查物體、2）形狀匹配但顏色不匹配的物體、3）顏色匹配但形狀不匹配的物體。
2. 比較神經(jīng)網(wǎng)絡在分配標簽時，為物體1和2分配相同標簽的次數(shù)，和為物體1和3分配相同標簽的次數(shù)所占比例如何。
實驗示意圖
DeepMind的實驗表明，深度神經(jīng)網(wǎng)絡和人類一樣，具有“形狀偏好”。
深度神經(jīng)網(wǎng)絡（DNN）在眾多領(lǐng)域的復雜任務上都有著卓越的表現(xiàn)，它迅速地刷新著我們對于這些問題的認知。
過往的工作只著眼于推進我們對于這些模型的理解，但對于認知心理學家在這些問題上已有的描述、理論和實驗方法，卻沒有加以充分利用。
為了發(fā)掘這些工具的潛在價值，我們選擇了在發(fā)展心理學中一種用來“解釋兒童如何學習物體和詞對應關(guān)系”的固定分析方法，并將其應用到DNN上。
用和原有認知心理學實驗類似的刺激物數(shù)據(jù)集進行測試，我們發(fā)現(xiàn)，那些在ImageNet上訓練的、最好的單個樣本學習(one shot learning)模型表現(xiàn)出了一種與在人類身上觀察到的相似的偏好：它們更喜歡根據(jù)形狀來對物體進行分類，而不是顏色。
在這種偏好的程度在架構(gòu)相同但seed不同的模型上，會有非常大的差異，甚至會在訓練過程中隨著seed而波動，盡管它們最終在分類上的表現(xiàn)近乎相同。
這些結(jié)果證明了認知心理學工具在發(fā)掘DNN隱含計算屬性上的能力，同時也為我們提供了一種用于人類字詞學習的計算模型。
論文地址：
https://arxiv.org/pdf/1706.08606.pdf
博客文章：
https://deepmind.com/blog/cognitive-psychology/
【完】
一則通知
量子位正在組建自動駕駛技術(shù)群，面向研究自動駕駛相關(guān)領(lǐng)域的在校學生或一線工程師。李開復、王詠剛、王乃巖、王弢等大牛都在群里。歡迎大家加量子位微信(qbitbot)，備注“自動駕駛”申請加入哈~
