新智元2019新年寄語
2018年人工智能成為重塑世界格局的關(guān)鍵。谷歌BERT模型刷新多項自然語言處理紀(jì)錄，DeepMind則用星際爭霸II對局再次引爆機器智能無限可能。阿里與華為分別推出AI芯片，作為底層支撐的計算體系結(jié)構(gòu)也將邁入黃金十年發(fā)展期。
新智元2018年實現(xiàn)全球超過50萬核心產(chǎn)業(yè)用戶互聯(lián)。2019新春，中國人工智能將迎來全新的競爭挑戰(zhàn)與生態(tài)建設(shè)契機，新智元邀你與全球人工智能學(xué)術(shù)、產(chǎn)業(yè)精英一起，以開放的胸懷和堅毅的決心，成就AI新世界！
——新智元創(chuàng)始人兼CEO 楊靜
新智元報道
來源：arxiv 編輯：大明，文強
DeepMind首次戰(zhàn)勝星際II職業(yè)玩家的AI——AlphaStar，正如新智元創(chuàng)始人兼CEO楊靜女士在《新智元2019年寄語》中所說的那樣，引爆機器智能無限可能。
AlphaStar是一項壯舉，是建立在DeepMind及其他研究人員多年的研究和工程基礎(chǔ)之上，尤其是深度強化學(xué)習(xí)(DRL)、多智體強化學(xué)習(xí)(MARL)和博弈論。
雖然在官方博文中，DeepMind也提到了進(jìn)化算法(Evolutionary Algorithm, EA)，但這顯然并非其重點。不過，倫敦帝國學(xué)院的Kai Arulkumaran等人，反過來從進(jìn)化算法的角度來看AlphaStar，希望對深度強化學(xué)習(xí)領(lǐng)域和進(jìn)化計算的研究者都帶來啟發(fā)。
進(jìn)化計算和深度學(xué)習(xí)并非對立的兩個陣營。
事實上，Arulkumaran等人最新在Arxiv上貼出的論文《從進(jìn)化計算角度看AlphaStar》(AlphaStar: An Evolutionary Computation Perspective)，也確實提出了很多新的問題。
例如，在DeepMind提出的快速調(diào)參算法PBT中，用Baldwinian進(jìn)化算法代替拉馬克(Lamarckian)進(jìn)化，是否能得到元學(xué)習(xí)星際II智能體？
Arulkumaran本人也在Twitter表示，這篇文章是對一系列概念的高級概括，還需要進(jìn)一步探索，他們在寫作時有意識地省略了演化計算和博弈論之間重疊的部分。
同時，他也指出，不能認(rèn)為AlphaStar僅僅只是一個演化算法，AlphaStar的混合性質(zhì)有些類似于AlphaGo atm?！癉eepMind官方博文顯示了從IL階段MMR的提升，這一點看起來很重要，但哪些細(xì)節(jié)是最重要的，我們目前還不知道?！?/span>
以下是新智元對文章的編譯。
2019年1月，DeepMind向世界展示了AlphaStar——第一個在星際爭霸II游戲中擊敗職業(yè)玩家的人工智能（AI）系統(tǒng)，它代表了人工智能技術(shù)進(jìn)步的一個里程碑。
AlphaStar涉及人工智能研究的許多領(lǐng)域，包括深度學(xué)習(xí)，強化學(xué)習(xí)，博弈論和進(jìn)化計算等（EC）。
在本文中，我們主要通過進(jìn)化計算的角度來分析AlphaStar，為審視該系統(tǒng)提供一個新的視角，并將其與AI領(lǐng)域的許多概念關(guān)聯(lián)起來。我們重點介紹其中一些最有趣的方面：拉馬克進(jìn)化、協(xié)同競爭進(jìn)化和質(zhì)量多樣性。希望通過本文，在更廣泛的進(jìn)化計算社區(qū)與新誕生的這個重要的AI系統(tǒng)之間架起一座橋梁。
在1997年”深藍(lán)“擊敗國際象棋世界冠軍后，人工智能與人類博弈的下一個重要里程碑是出現(xiàn)在2016年，圍棋世界冠軍李世乭被AlphaGo擊敗。國際象棋和圍棋此前都被認(rèn)為是AI取得進(jìn)展最困難的領(lǐng)域，可以說，與之相比難度相當(dāng)?shù)目简炛痪褪菗魯⌒请H爭霸（SC）游戲中的大師級玩家。
星際爭霸是一款即時戰(zhàn)略（RTS）游戲?！缎请H1》及其續(xù)作《星際II》都具有幾個特點，使得它甚至比圍棋的挑戰(zhàn)更大。比如只能觀察到戰(zhàn)場的一部分、沒有單一的主導(dǎo)策略、復(fù)雜的游戲規(guī)則、快速建模的難度更大，動作空間極大，且復(fù)雜多變等。可以說，想實現(xiàn)征服《星際爭霸》的目標(biāo)，一點也不比圍棋上的突破來得容易。
想實現(xiàn)征服《星際爭霸》的目標(biāo)，一點也不比圍棋上的突破來得容易。圖片來源：Jesus Rodriguez, The Science Behind AlphaStar
最近，DeepMind推出的AlphaStar向著實現(xiàn)這個目標(biāo)邁出了重要一步，AlphaStar是一個基于神經(jīng)網(wǎng)絡(luò)的AI系統(tǒng)，在2018年12月?lián)魯×藢I(yè)的SC II玩家。
該系統(tǒng)與其前身AlphaGo一樣，最初使用模仿學(xué)習(xí)來模仿人類的游戲行為，然后通過強化學(xué)習(xí)（RL）和自我對弈的組合方式進(jìn)行改進(jìn)。
算法在這里發(fā)生了分歧，因為AlphaStar利用基于人口的訓(xùn)練（PBT）來明確地保持一群相互訓(xùn)練的智能體。這部分訓(xùn)練過程建立在多智能體強化學(xué)習(xí)和博弈論視角之上，但人口的概念是進(jìn)化計算的核心，因此我們也可以通過這個視角來考察AlphaStar。
目前，訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)的最流行的方法是反向傳播（BP）。但是，有許多方法可以調(diào)整其超參數(shù)，包括進(jìn)化算法。
其中一種方法是使用模因算法（MA），這個算法中，進(jìn)化作為外部優(yōu)化算法運行，并且各個解決方案可以通過內(nèi)環(huán)中的其他方式（例如反向傳播）來進(jìn)行優(yōu)化。在這種特定情況下，模因算法可以將進(jìn)化算法的探索和全局搜索屬性與反向傳播算法的高效本地搜索的優(yōu)勢結(jié)合起來。
AlphaStar的基本架構(gòu)。來源：DeepMind
在AlphaStar中，用于訓(xùn)練智能體的基于人口的訓(xùn)練策略（PBT）是使用拉馬克進(jìn)化（LE）的模因算法：在內(nèi)環(huán)中，使用反向傳播連續(xù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而在外環(huán)中，使用幾種選擇方法中的一種來選擇網(wǎng)絡(luò)（比如淘汰制錦標(biāo)賽選擇），用勝者的參數(shù)覆蓋敗者的參數(shù)，敗者也會收到勝者超參數(shù)的“變異”副本。
PBT策略最初是通過一系列監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)任務(wù)展示的，調(diào)整和提升神經(jīng)網(wǎng)絡(luò)的性能。對于具有高度非平穩(wěn)損耗表面的問題，例如深度強化學(xué)習(xí)問題，這種策略可能是最有效的，因為它可以在運行過程中改變超參數(shù)。
AlphaStar vs MaNa，神經(jīng)網(wǎng)絡(luò)如何將觀察到的結(jié)果轉(zhuǎn)換為行動。來源：DeepMind
由于單個網(wǎng)絡(luò)可能需要高達(dá)數(shù)G的內(nèi)存，或需要訓(xùn)練長達(dá)幾個小時，因此可擴(kuò)展性是PBT的關(guān)鍵。因此，PBT既是異步的，又是分布式的。與使用靜態(tài)超參數(shù)運行許多實驗不同，使用相同數(shù)量的硬件，利用PBT只需要很少的開銷——外部循環(huán)可以重用內(nèi)部循環(huán)的解決方案進(jìn)行評估，而且數(shù)據(jù)通信量也比較低。如果考慮非平穩(wěn)超參數(shù)因素和對較弱解決方案的優(yōu)先搶占的影響，PBT方案能夠節(jié)省的成本更多。
這些要求的另一個結(jié)果是PBT是穩(wěn)定狀態(tài)，這一點與分代進(jìn)化算法不同。由于對異步進(jìn)化算法和拉馬克進(jìn)化的自然適應(yīng)性，穩(wěn)態(tài)進(jìn)化算法可以允許各個解決方案的優(yōu)化和評估不間斷地進(jìn)行，從而實現(xiàn)資源效率最大化。
最適合的解決方案能夠存活更長時間，自然地提供了一種精英主義/名人堂模式，但并非最優(yōu)的前代方案也可以保留下來，保持解決方案多樣性。
在對AlphaStar一類游戲智能體進(jìn)行優(yōu)化時，智能體可以使用自對戰(zhàn)來提升水平。
競爭性協(xié)同進(jìn)化算法（CCEA）可以被視為自我對弈的超集（superset），并非只保留當(dāng)前解決方案及其前身，而是保持和評估整個解決方案的群體。
與自我對弈一樣，CEA形成了一個自然的教學(xué)過程，但也提供了額外的穩(wěn)健性，因為產(chǎn)生的解決方案是基于各種其他解決方案進(jìn)行評估的。
AlphaStar的訓(xùn)練過程。來源：DeepMind
