免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
什么是涌現(xiàn)?人工智能給你答案


導語


涌現(xiàn)是復雜系統(tǒng)諸多現(xiàn)象中最神秘莫測的一個:從鳥群聚集、螞蟻覓食,到生命游戲、大模型涌現(xiàn)能力,再到宇宙起源、生命演化、意識產(chǎn)生,都可以看作是涌現(xiàn)。那么,究竟什么是涌現(xiàn)?涌現(xiàn)可以分成幾種類型?涌現(xiàn)和因果是什么關系?我們應該如何定量刻畫涌現(xiàn)?又應該如何在數(shù)據(jù)中自動檢測出涌現(xiàn)?

因果涌現(xiàn)第三季讀書會第一期,北京師范大學系統(tǒng)科學學院教授張江老師,和集智科學研究中心技術(shù)與產(chǎn)品顧問袁冰老師進行了主題為“涌現(xiàn)、因果與人工智能”的分享,系統(tǒng)梳理了涌現(xiàn)、因果、因果涌現(xiàn)、涌現(xiàn)的分類、因果涌現(xiàn)的識別,及其與隱空間機器學習、世界模型等人工智能算法之間的關系。本文由北京師范大學系統(tǒng)科學學院研究生楊明哲整理。

可掃描下方二維碼觀看讀書會視頻回放:
https://pattern.swarma.org/study_group_issue/490

由北京師范大學教授、集智俱樂部創(chuàng)始人張江領銜發(fā)起的「因果涌現(xiàn)」系列讀書會第三季,組織對本話題感興趣的朋友,深入探討因果涌現(xiàn)的核心理論,詳細梳理領域發(fā)展脈絡,并發(fā)掘因果涌現(xiàn)在生物網(wǎng)絡和腦網(wǎng)絡、涌現(xiàn)探測等方面的應用。讀書會第三季自7月11日開始,每周二晚19:00-21:00,持續(xù)進行中。第四季正在籌備中,將重點討論和梳理信息分解與整合信息論相關研究。歡迎感興趣的朋友報名參與!

研究領域:因果涌現(xiàn),涌現(xiàn)分類,有效信息,人工智能,G-emergence,神經(jīng)信息壓縮器

張江、袁冰 | 講者
楊明哲 整理
梁金 編輯

目錄

1. 涌現(xiàn)、分類與因果

2. 因果涌現(xiàn)與有效信息

3. 因果涌現(xiàn)識別與人工智能

4. 書會整體框架




一、涌現(xiàn)、分類與因果



1. 涌現(xiàn)現(xiàn)象


如果你曾經(jīng)觀察過螞蟻,你會驚訝地發(fā)現(xiàn),當它們聚集成蟻群時,會展現(xiàn)出一種不可思議的“智能”表現(xiàn)。例如,它們能夠自動發(fā)現(xiàn)從蟻群到達食物的最短路徑。這種智能表現(xiàn)并不是由于某些個體螞蟻的聰明才智,因為每只螞蟻都非常小,不可能規(guī)劃比它們身長長至少幾十倍以上的路徑。這種行為是由于許多螞蟻聚集成一個蟻群,才表現(xiàn)出來的智能。我們把這種現(xiàn)象稱為涌現(xiàn)(Emergence)

什么是涌現(xiàn)?當我們用這個詞來描述蟻群這樣的現(xiàn)象時,是想描述它所體現(xiàn)的整體大于部分之和。為給出一個更加規(guī)范的定義,我們說蟻群這樣的整體是一個系統(tǒng),而其中每個螞蟻便是構(gòu)成這個系統(tǒng)的基本元素。于是我們可以給出涌現(xiàn)的定義:如果一個系統(tǒng)的屬性不是其任何基本元素的屬性,那么它就是涌現(xiàn)的。事實上不只是螞蟻,從鳥群的靈活有序,到大腦產(chǎn)生意識,皆是涌現(xiàn)出來的特質(zhì)。接下來介紹幾個其它的涌現(xiàn)案例讓讀者更多體會涌現(xiàn)這個概念。

圖1.許多小魚聚在一起擁有了大魚一般的威懾力,這是單獨一只小魚所不能擁有的

  • 生命游戲

1970年,英國數(shù)學家約翰·何頓·康威(John Horton Conway)發(fā)明了元胞自動機。這是一種無限的、二維正方形的柵格單元網(wǎng)格,每一個單元格有2種狀態(tài)可能性:活或死的(或者黑和白)。每個單元格都與其八個相鄰的單元交互。把每個單元格看作一個細胞,該系統(tǒng)具有以下規(guī)則:

1. 任何有兩個或三個活鄰居的活細胞都可以存活。

2. 具有三個活鄰居的任何死細胞都將成為活細胞。

3. 所有其他活細胞將在下一代死亡。同樣,所有其他死細胞仍保持死亡狀態(tài)。

這便是大名鼎鼎的生命游戲,至今已作為一個經(jīng)典的復雜系統(tǒng)被眾多學者研究。它吸引大家研究的點在于,作為基本元素的細胞有著非常簡單的交互規(guī)則,但當我們把視點放在全局,卻會發(fā)現(xiàn)很多有意思的圖案(pattern)。有些是靜態(tài)的,像圖3中的“方塊”、“面包”等等,隨著時間不再變化。還有一些則是周期振蕩的,甚至像水面上的波一樣向某一個方向傳播。比如說“滑翔機”,是一個朝某一方向“運動”的周期動態(tài)圖案,用它構(gòu)造布爾電路,甚至可以在生命游戲里搭建抽象的計算機,支持通用計算。

圖2.生命游戲在某一個時間步上的全局狀態(tài)

圖3.生命游戲里的部分靜態(tài)案例


  • 阿米巴蟲的例子

生命游戲的例子體現(xiàn)出,我們在計算機上就可以通過簡單的編程,來復現(xiàn)一個復雜系統(tǒng)的涌現(xiàn)現(xiàn)象。接下來介紹的阿米巴蟲的例子,則讓我們認識到人類甚至可以向生物界中的涌現(xiàn)現(xiàn)象學習,為人類工程師的設計提供借鑒。

阿米巴蟲有兩種生存狀態(tài),一種是作為大型黏菌存活,而當它饑餓時,會分解出很多微小的單細胞生物去覓食。如果它們發(fā)現(xiàn)了一個食物點,就會構(gòu)建一條管道輸送食物給黏菌。我們會發(fā)現(xiàn),這些管道構(gòu)建成的運輸網(wǎng)會被不斷優(yōu)化,一些低效的管道會漸漸消失,而對于留下來的運輸網(wǎng),如果去測量它的運輸效率等指標,則會發(fā)現(xiàn)它幾乎就是最優(yōu)的設計。這啟發(fā)科學家借鑒阿米巴蟲的生長來設計城市的交通運輸網(wǎng)。如圖4所示,實驗中特意擺放食物點使之與城市的各個地點坐標相似,便可以得到阿米巴蟲“設計”的交通運輸網(wǎng)了。

圖4.阿米巴蟲自發(fā)演化出的食物運輸管道


  • 蟻群覓食的例子
  
以上舉出的涌現(xiàn)現(xiàn)象何以可能?我們再來分析一下螞蟻覓食的案例??茖W家進一步發(fā)現(xiàn),蟻群發(fā)現(xiàn)覓食最短路徑包含了以下三點:1. 螞蟻找到食物就會釋放信息素;2.信息素會吸引更多的螞蟻來聚集,同時信息素也會揮發(fā);3.螞蟻和信息素形成正反饋回路,把路徑長短上的細小差異放大,從而篩選出最短路徑。借此我們大致可以定性地描述涌現(xiàn)發(fā)生的機制:局部作用產(chǎn)生正反饋機制,從而導致宏觀上“令人驚異”的現(xiàn)象。這里面不需要一個上帝一般的角色來做全局的考慮和設計。

圖5.螞蟻自動發(fā)現(xiàn)覓食最短路徑


  • 大語言模型的涌現(xiàn)能力

涌現(xiàn)這個概念近年來越來越火,尤其是ChatGPT的流行,讓更多人關注大語言模型(LLM)與它的涌現(xiàn)能力。這里的涌現(xiàn)更多是指,隨著模型規(guī)模變大,突然在某一刻擁有了以前沒有的能力,比如能在自然語言交互中回答一些智力題。這種神奇的進步在直覺上和前面所說的自然界中的涌現(xiàn)現(xiàn)象似乎一樣,但實際是有差異的,因為這里沒有局部正反饋反映到宏觀全局的過程,其背后原因更多和思維鏈(chain of thoughts)有關,這里不過多解釋,可參考之前的文章《AI何以涌現(xiàn):復雜適應系統(tǒng)視角的ChatGPT和大語言模型》。但這不妨礙我們進一步挖掘其背后的秘密,在以后看到更精彩的大模型涌現(xiàn)。

大模型還體現(xiàn)出另一種令人驚訝的特性,即隨著尺度的變化,計算準確度呈現(xiàn)冪律上升,這就是規(guī)模法則(scaling law)。規(guī)模法則在各種不同的復雜系統(tǒng)中都會出現(xiàn),從生物界到城市科學。比如在鳥群中,鳥和鳥之間的關聯(lián)便是關于距離的冪律函數(shù)。這其實也是一種涌現(xiàn)出來的現(xiàn)象,是一種統(tǒng)計上的涌現(xiàn)現(xiàn)象。它的出現(xiàn)意味著我們拋棄了大量無關信息,抓住了一些關鍵指標的變化。以它為切入口,我們可以深挖其背后的機理,從而幫助理解前面舉出的那些難以規(guī)范描述的涌現(xiàn)現(xiàn)象。關于規(guī)模法則更為全面和詳細的描述,讀者可以翻閱張江老師出版的新書《規(guī)模法則》。

圖6. 張江老師的新書《規(guī)模法則》


2. 因果與涌現(xiàn)

為了理解涌現(xiàn)現(xiàn)象,我們發(fā)現(xiàn)可以從因果的視角入手,來重新闡釋復雜系統(tǒng)里個體與整體的關系。回到蟻群的例子,試想一個蟻群過河的場景。為了讓整個蟻群能安然渡河,與水面接觸的那幾只螞蟻便成了犧牲品。這里便存在一個因果關系,而且與我們更為熟悉的因果方向不同。我們更容易接受的是,因為螞蟻作為個體的某些行為,所以有了蟻群在宏觀上的某些現(xiàn)象,這在亞里士多德的四因說里是質(zhì)料因。但在蟻群過河的例子中,因為蟻群要在水面上生存,所以犧牲了邊緣的幾只螞蟻,出現(xiàn)了自上而下的形式因。這時候我們或許更傾向于把整個蟻群看作一個超級生命體,而不再是一只只螞蟻的排列。

圖7. 一個蟻群在水面上,體現(xiàn)出向下因果


類似的例子還有很多,都涉及到因果律的變化。有的復雜系統(tǒng)里自上而下的因果相比于自下而上的因果體現(xiàn)的更明顯,還有的系統(tǒng)中只能在宏觀層面去解釋一些結(jié)果,而不能用微觀的個體去做因果上的解釋。

那因果和涌現(xiàn)到底是什么關系?Jochen Fromm 在一篇文章中指出,對于所有的結(jié)果(effect),我們都會試圖找到它的原因(cause),但涌現(xiàn)現(xiàn)象是我們在宏觀上觀察到一個現(xiàn)象卻無法簡單歸因的。這樣的洞見讓我們認識到,對因果的研究是理解涌現(xiàn)的一個途徑。于是我們有了因果涌現(xiàn)(causal emergence)這樣一個概念和研究課題。我們希望借此能對涌現(xiàn)有一般性的研究,而不只是在一個個具體的案例里討論涌現(xiàn)現(xiàn)象。

3. 涌現(xiàn)的種類

我們接下來來看對于涌現(xiàn)這個概念,歷史上已經(jīng)有了哪些定性的研究。首先介紹Jochen Fromm 對涌現(xiàn)的分類。如圖8,圖中箭頭表示因果關系,那么根據(jù)因果關系的不同,可以把涌現(xiàn)分為四類。

首先是簡單涌現(xiàn),只有自下而上的因果關系,比如對一些變量求均值,這種普通的統(tǒng)計特征我們非常熟悉了,不是我們關注的重點。有意思的事情發(fā)生在自上而下的因果關系的出現(xiàn),這時便是弱涌現(xiàn),像前面介紹過的螞蟻覓食就是這一類。生命游戲則屬于多重涌現(xiàn),在一次生命游戲中可以同時觀察到或靜態(tài)或動態(tài),大小不同長相不一的圖案涌現(xiàn)出來。強涌現(xiàn)則是考慮了不只兩個尺度,同時有微觀、介觀、宏觀三個尺度,而介觀的存在完全隔離了微觀與宏觀之間的因果關系。例如從細胞到多細胞生命體再到智能與意識的存在。

關于 Jochen Fromm 的理論更詳細的描述,可以參考對 Fromm 論文的翻譯《涌現(xiàn)的種類與形式》。
Fromm, Jochen. 'Types and forms of emergence.' arXiv preprint nlin/0506028 (2005).

圖8. Jochen Fromm 對涌現(xiàn)的分類


需要說明的是,有些涌現(xiàn)離不開主觀視角的介入。有些涌現(xiàn)是客觀固有的性質(zhì),比如螞蟻覓食,可以用客觀指標來度量蟻群覓食的能力,這樣的涌現(xiàn)可以被稱作本體論的涌現(xiàn)。還有些涌現(xiàn)現(xiàn)象則源自觀察者的簡化,比如我們觀察云彩的時候,會認出某些云朵形狀類似我們熟知的人臉。這樣的宏觀現(xiàn)象一樣無法歸因于每個運動的水蒸氣分子,但它是客觀物質(zhì)與人類認識共同形成的。這種涌現(xiàn)可以被稱作認識論的涌現(xiàn)。兩種涌現(xiàn)都很重要,都是我們要研究的對象。

另一位哲學家 Mark Bedau 也提出了自己對涌現(xiàn)的分類,和 Jochen Fromm 的理論也有聯(lián)系。Fromm 所說的簡單涌現(xiàn),便是Bedau提出的名義的涌現(xiàn)。而 Fromm 的弱涌現(xiàn)與多重涌現(xiàn)合在一起則是 Bedau 認為的弱涌現(xiàn)。兩個人的共識在于對強涌現(xiàn)的認識和界定。強涌現(xiàn)確實是最神秘也最令人著迷的一種。相比于 Fromm 的理論,Bedau 的分類更加簡潔。

圖9. Bedau 涌現(xiàn)理論的文章

Bedau, M. Downward causation and the autonomy of weak emergence. Principia: an international journal of epistemology 2002, 6, 5–50.

除了哲學上的探討,Bedau 更大的貢獻在于,用格蘭杰因果檢驗這樣一個量化手段解釋了什么是弱涌現(xiàn),此時弱涌現(xiàn)也可以叫做 G-emergence。如圖中A、B兩個時間序列,我們回歸分析變量An,可以得到A自身的歷史信息An-1與B的歷史信息Bn-1對它的解釋。如果僅憑借A自身的歷史信息就可以解釋An,便定義A是G自主G-autonomous的。那什么是弱涌現(xiàn)呢?在一個鳥群模型的例子中,每只鳥的運動便是微觀上的時間序列,而整個鳥群質(zhì)心的運動定義為宏觀上的時間序列。如果宏觀時間序列是G自主的,而微觀時間序列不是,還需要依靠宏觀質(zhì)心運動的歷史信息來預測下一時刻的微觀狀態(tài),那么便定義這個系統(tǒng)是弱涌現(xiàn)的。該定義討論了自上而下的因果關系,而且是以機器作為觀察者視角,用算法發(fā)現(xiàn)了模型原本不包含的向下因果,屬于我們之前所討論的認識論的涌現(xiàn)。

圖10.Bedau對于弱涌現(xiàn)定量的定義



二、因果涌現(xiàn)與有效信息



對于復雜系統(tǒng)的因果涌現(xiàn),除了以上討論的定性研究,我們更希望能搭建一個量化的理論框架。Erik Hoel 作為因果涌現(xiàn)理論的正式提出者,最大的貢獻便是以因果為工具對涌現(xiàn)現(xiàn)象進行了定量的刻畫。

Hoel, E.P.; Albantakis, L.; Tononi, G. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences 2013, 110, 19790–19795.
參看論文翻譯:量化因果涌現(xiàn)表明:宏觀可以戰(zhàn)勝微觀

在文章《Erik Hoel:因果涌現(xiàn)理論怎樣連通復雜系統(tǒng)的宏觀與微觀》中對該理論已有介紹,這里我們再簡單回顧一下。如圖11所示,橫軸表示系統(tǒng)動力學演化時間,縱軸則是同一系統(tǒng)的不同尺度。我們常常能觀測到微觀尺度上,系統(tǒng)在某一動力學規(guī)則下演化,比如在一個密閉空間里,大量氣體分子在牛頓定律下運動。但這樣的運動非常無序,很難研究清楚,也就是說微觀動力學f的因果效應強度會比較弱。為解決這一問題,我們經(jīng)常會使用某一種粗?;?/strong>手段,把系統(tǒng)的微觀狀態(tài)映射到某一宏觀尺度上。比如對于剛才提及的氣體系統(tǒng),我們開發(fā)出溫度、壓強、熵等一系列宏觀指標,那么所有氣體分子的速度和位置等變量就與這些宏觀指標建立起了映射關系。在這個宏觀尺度上,我們往往會發(fā)現(xiàn)更加簡潔的規(guī)律,比如有理想氣體方程PV=nRT。這時候可以說該宏觀動力學F的因果效應強度高。如果有宏觀動力學的因果效應大于微觀動力學因果效應,便認為該系統(tǒng)發(fā)生因果涌現(xiàn)。

圖11.Erik Hoel的因果涌現(xiàn)理論框架


這里的因果效應強度要怎么度量呢?我們接下來介紹因果效應度量的指標有效信息(effective information, EI)。這個概念最早來自 Hoel 的導師 Tononi 的一篇文章,是指對于一個馬爾可夫系統(tǒng),測量輸入和輸出的互信息,其中輸入服從最大熵分布。
Giulio Tononi, Olaf Sporns. Measuring information integration. BMC Neurosci, 2003, 4(31)

圖12.定義有效信息的示意圖


Hoel 進一步發(fā)展這個概念,同樣是在離散的馬爾可夫系統(tǒng)中討論,對于一個轉(zhuǎn)移概率矩陣,可以測量它的 EI。EI 本質(zhì)是互信息,但僅僅是互信息還不行,因為互信息測量的是關聯(lián)關系,無法去除數(shù)據(jù)分布本身帶來的混雜影響。為了讓互信息能正確衡量系統(tǒng)自身的性質(zhì),需要約束輸入變量的分布,即人為對輸入一端的變量做干預,設定輸入變量為均勻分布(在離散系統(tǒng)中等同于最大熵分布),然后測量此時輸入和輸出之間的互信息,得到的便是 EI。干預這個概念來自 Judea Pearl 的因果理論,正是因為引入了干預這樣的手段,EI 度量的便是因果效應強度,是一個動力學內(nèi)在的性質(zhì),與外界數(shù)據(jù)無關。(干預及相關因果科學概念的更多介紹可以參考集智百科詞條《什么是結(jié)構(gòu)因果模型》。)

值得分析的是,有效信息本身可以被拆成確定性Det簡并性Deg兩部分。確定性度量的是以過去狀態(tài)預測未來狀態(tài)的隨機性大小,簡并性度量的是從未來狀態(tài)追溯過去狀態(tài)的隨機性大小。在數(shù)學上,對EI除以log2(n)做歸一化,得到Eff,于是推導可得 Eff=Det-Deg。這啟發(fā)我們,所謂因果效應強,可以歸于兩個方面,高確定性和低簡并性。圖13中提供了幾個案例,包括轉(zhuǎn)移概率矩陣和對應的各指標的計算值,供讀者參考體會。

圖13.有效信息及確定性簡并性計算的案例,其中色塊深淺表示轉(zhuǎn)移概率矩陣上每個條件概率的大小


因此,我們可以來回答為什么一些粗?;呗钥梢蕴岣哂行畔ⅰ.斴斎胧悄骋粻顟B(tài)時,輸出會有多種可能,是一個具有隨機性的分布,如果我們通過粗?;堰@些可能的輸出打包為一個輸出,就減少了隨機性,于是提高了確定性;同理,從某一個輸出結(jié)果往回追溯,它也會對應多個可能的輸入,如果打包這些輸入,就能減少這個過程的簡并性。這兩條路徑都可以提高有效信息。




三、因果涌現(xiàn)識別與人工智能



到目前為止,我們已在離散的馬爾可夫系統(tǒng)上充分討論了如何定量刻畫粗粒化以及因果涌現(xiàn),但這本身還是非常理想化的。除了馬爾可夫性的假設以外,更重要的是我們已知其背后的動力學,而這在真實世界中幾乎不可能,尤其面對復雜系統(tǒng)的時候。所以當我們已收集好微觀數(shù)據(jù),比如一個多主體系統(tǒng)中每個主體的運動軌跡,需要回答如何從中識別因果涌現(xiàn)的問題。考慮識別因果涌現(xiàn)的時候,需要有粗?;呗詠斫⒍喑叨纫暯牵赃M一步又有兩個更加具體的問題:如何在數(shù)據(jù)中自動得到合適的粗?;呗砸约罢业綄暮暧^動力學。

到目前,已經(jīng)有學者沿著這條軌跡做出了成果。這里主要向讀者介紹神經(jīng)信息壓縮器(Neural Information Squeezer,NIS)的工作,其它相關工作會在后面的讀書會中進一步展開。

Zhang, J.; Liu, K. Neural information squeezer for causal emergence. Entropy 2022, 25, 26.

如今,面對大量數(shù)據(jù),機器學習是一個主要的處理手段,而NIS便是把機器學習中的神經(jīng)網(wǎng)絡技術(shù)借鑒到了因果涌現(xiàn)識別的問題中來。熟悉神經(jīng)網(wǎng)絡的讀者知道,神經(jīng)網(wǎng)絡是一個計算能力強的黑箱,能擬合任意復雜的函數(shù),但同時可解釋性很差。這使得它雖然對于普通的預測或分類任務表現(xiàn)不錯,可一旦環(huán)境變化,它就容易失敗,因為它很多時候并沒有把握住一個動力系統(tǒng)背后本質(zhì)的規(guī)律。如果我們能用一個神經(jīng)網(wǎng)絡框架學習到因果性更強的宏觀動力學,那么這樣的神經(jīng)網(wǎng)絡會比一般的神經(jīng)網(wǎng)絡具有更強的可解釋性和泛化能力。

具體怎么做呢?回到我們得到的微觀數(shù)據(jù)上,它們通常是多維的時間序列數(shù)據(jù),可以假定背后有微觀動力學生成這些數(shù)據(jù)。接下來我們用編碼器來對這些數(shù)據(jù)做粗?;?,得到宏觀的數(shù)據(jù),其中輸出的宏觀數(shù)據(jù)比輸入的微觀數(shù)據(jù)維度會更少。對于這些宏觀數(shù)據(jù),我們用一個神經(jīng)網(wǎng)絡擬合它背后的宏觀動力學(macro dynamics)。得到了宏觀動力學,我們可以測量它的EI(這里需要先對EI進行拓展,使其可以度量神經(jīng)網(wǎng)絡的因果性。這樣的拓展是合理的,因為輸入輸出只相差一個時間步,神經(jīng)網(wǎng)絡學習的動力學具有馬爾可夫性。具體細節(jié)見參考文獻)。這個EI便是我們要最大化的目標,通過梯度反傳來優(yōu)化編碼器和宏觀動力學神經(jīng)網(wǎng)絡。

這樣似乎就已經(jīng)解決了前面提出來的問題,找到了因果涌現(xiàn)最強的宏觀動力學。但在實操中我們會遭遇平凡解的問題。由前面的分析我們知道,因果涌現(xiàn)來自于高確定性和低簡并性。對于機器而言,它總能找到一個特定的高確定同時低簡并的策略來滿足優(yōu)化目標,那便是把所有微觀數(shù)據(jù)粗粒化為一個常數(shù)值,然后擬合宏觀動力學為恒等映射。這種策略得到的宏觀動力學EI非常大,但這顯然是我們不想要的平凡解。那問題出在哪了呢?

相信讀者很快意識到,此時學習到的宏觀動力學和微觀數(shù)據(jù)實際沒有任何關系,換句話說,它不包含微觀的信息。這讓我們意識到,一味追求EI這個指標是不行的,需要增加約束讓學習的宏觀動力學包含微觀的信息。NIS的做法是讓宏觀動力學得到的預測輸出再解碼回微觀,得到對微觀的預測。如果這個預測足夠準確,那么宏觀動力學一定不是平凡解,而會包含微觀態(tài)的信息。完整的NIS框架如下圖所示。

圖14. NIS的框架圖

首先介紹一下編碼器和解碼器。編碼器所擬合的粗粒化映射分為兩部分,首先是一個可逆的神經(jīng)網(wǎng)絡(INN),可以模擬任意復雜的可逆映射,在這個過程中沒有任何信息的損失,其次是拋棄維度的操作,相當于一次投影操作,也就是在這一步發(fā)生信息的損失。投影保留的分量便是宏觀動力學學習器的輸入。在另一端解碼時,拼接一個標準正態(tài)分布的噪音擴充維度,再輸入到INN中。編碼和解碼所用INN共享參數(shù)。

我們約束該框架,使微觀上預測輸出的誤差收斂到一定范圍內(nèi),在這個條件下最大化擬合的宏觀動力學。于是整個NIS構(gòu)建起了一個信息瓶頸,如圖15所示,有用的信息在保留的維度里,通過宏觀動力學F傳遞,而經(jīng)過對INN的訓練,投影拋棄的維度自然就是無用的噪音。如此把握系統(tǒng)本質(zhì)的規(guī)律,可以使模型在變化的環(huán)境里也可以保證預測的準確和有效性。當然,維度不能保留的太少,否則“通道”太窄,沒辦法把所有有用的信息傳遞過去。于是存在某一個宏觀維度大小,剛好使對預測有用的信息都傳遞,而留存的噪音達到最小。這便是瓶頸的含義。這種性質(zhì)可以在信息指標上體現(xiàn)出來,如果NIS被充分訓練,我們可以觀察到此時宏觀動力學輸入和輸出的互信息約等于微觀態(tài)t時刻與t+1時刻之間的互信息。

圖15.信息瓶頸示意圖和NIS因果圖


目前NIS已在一些實驗上體現(xiàn)出它的效果。下面介紹其中兩個實驗,其它更多實驗細節(jié)可見參考文獻。首先,為了證明該框架的有效性,我們用簡單的彈簧振子模型來做一個數(shù)值實驗。該模型本身只有兩個維度,速度(v)和位置(z)。把這兩個維度作為宏觀態(tài),在它們基礎上分別加減一個正態(tài)分布噪音擴充至四維,模擬的是觀測噪音。得到的四維變量作為微觀數(shù)據(jù),使用NIS進行因果涌現(xiàn)識別任務。如圖16右圖所示,通過遍歷各個宏觀維度,計算各層EI以及宏微觀EI的差值 (CE),果然發(fā)現(xiàn)在二維層面上CE值最高,和我們預想的答案一致。同時左圖體現(xiàn)出,NIS學習得到的宏觀軌跡和真實的宏觀軌跡在相空間上非常相似。這說明NIS真正把握到了該系統(tǒng)背后的宏觀規(guī)律。

圖16. 彈簧振子模型部分實驗結(jié)果


除了人為構(gòu)造的簡單模型,還要在經(jīng)典的復雜系統(tǒng)上檢驗NIS。前面提及的生命游戲便是這樣一個復雜系統(tǒng)。那NIS能不能捕捉到人眼很容易分辨出的有趣的圖案呢?圖17展示的就是以“滑翔機”作為實驗對象,此時NIS捕捉的宏觀態(tài)以及和真實數(shù)據(jù)的對比??梢钥闯?,訓練好的NIS可以在宏觀上以分塊的形式捕捉到兩個滑翔機,就好似人腦識別出滑翔機圖案時,對它們進行的抽象??梢云诖院箢愃频亩喑叨冉7椒梢圆蹲降缴螒蚋鄻拥暮暧^圖案。

圖17.生命游戲部分實驗結(jié)果





四、讀書會整體框架



到這里我們可以做一個總結(jié)。因果涌現(xiàn)理論的誕生,是為了以因果的概念來嘗試定量刻畫原本神秘的涌現(xiàn)現(xiàn)象。當我們能夠度量每個動力學的因果性強弱后,如果有宏觀的因果強于微觀上的因果,便定義因果涌現(xiàn)的發(fā)生。而面對現(xiàn)實世界中各種復雜系統(tǒng),我們需要有自動建模方法能從數(shù)據(jù)中識別因果涌現(xiàn),NIS是一個在這方面取得一些成效的工作。

為更深理解因果涌現(xiàn)這一領域,第三季讀書會展開了更豐富的問題和理論,比如考慮連續(xù)系統(tǒng)上的因果涌現(xiàn),回顧和因果涌現(xiàn)領域關系密切的經(jīng)典文獻,比如計算力學、協(xié)同學、隱空間動力學以及涌現(xiàn)探測等等。其余話題,包括信息分解等,將在第四季讀書會更進一步地聚焦和展開。


圖18. 因果涌現(xiàn)框架圖



學者簡介


張江,北京師范大學系統(tǒng)科學學院教授,集智俱樂部、集智學園、集智科學研究中心的創(chuàng)始人,曾任騰訊研究院、華為戰(zhàn)略研究院等特聘顧問。主要研究領域包括復雜系統(tǒng)分析與建模、規(guī)模理論等。
集智斑圖個人主頁:https://pattern.swarma.org/user/9

袁冰,集智科學研究中心技術(shù)與產(chǎn)品顧問。畢業(yè)于華中科技大學,研究興趣包括因果推斷、復雜科學,以及人工智能相關領域。集智斑圖個人主頁:https://pattern.swarma.org/user/46173


因果涌現(xiàn)讀書會


跨尺度、跨層次的涌現(xiàn)是復雜系統(tǒng)研究的關鍵問題,生命起源和意識起源這兩座仰之彌高的大山是其代表。而因果涌現(xiàn)理論、機器學習重整化技術(shù)、信息論或信息分解等近年來新興的理論與工具,有望破解復雜系統(tǒng)的涌現(xiàn)規(guī)律。而新興的因果表征學習、量子因果等領域也將為因果涌現(xiàn)研究注入新鮮血液。

集智俱樂部因果涌現(xiàn)讀書會目前已經(jīng)進行了兩季。第一季讀書會系統(tǒng)地梳理了因果涌現(xiàn)的概念,以及它與Sloopy Model、復雜性閾值、自指等概念之間的聯(lián)系,也探討了因果涌現(xiàn)理論在復雜網(wǎng)絡、機器學習中的應用。參看:因果涌現(xiàn)讀書會啟動:連接因果、涌現(xiàn)與自指——跨尺度動力學與因果規(guī)律的探索。第二季讀書會探討了涌現(xiàn)、因果科學和機器學習三大主題的融合,包括信息論拓展、因果涌現(xiàn)理論、因果表示學習、多尺度機器學習動力學建模。參看:因果、涌現(xiàn)與機器學習:因果涌現(xiàn)讀書會第二季啟動。

此次因果涌現(xiàn)讀書會第三季,進一步圍繞因果涌現(xiàn)的核心問題「因果涌現(xiàn)的定義」以及「因果涌現(xiàn)的辨識」進行深入學習和討論,對 Erik Hoel 提出的 Causal Emergence,Causal Geometry 等因果涌現(xiàn)的核心理論進行探討和剖析,并詳細梳理其中涉及到的方法論,包括從動力學約簡、隱空間動力學學習等其他領域中學習和借鑒相關的研究思路,最后探討因果涌現(xiàn)的應用,包括基于生物網(wǎng)絡、腦網(wǎng)絡或者涌現(xiàn)探測等問題展開擴展,發(fā)掘更多的實際應用場景。因果涌現(xiàn)讀書會第四季正在籌備中,將重點討論和梳理信息分解與整合信息論相關研究。

因果涌現(xiàn)社區(qū)聚集了500+成員,積累了大量論文解讀資料。歡迎感興趣的朋友報名,加入因果涌現(xiàn)社區(qū),并解鎖對應錄播權(quán)限。

本季讀書會詳情與報名方式請參考:

因果涌現(xiàn)讀書會第三季啟動:深入多尺度復雜系統(tǒng)核心,探索因果涌現(xiàn)理論應用


??
本站僅提供存儲服務,所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
生活服務
分享 收藏 導長圖 關注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服