原文作者：Douglas Heaven
德州撲克人工智能（AI）擊敗了五名人類對手，這讓AI距離解決現(xiàn)實問題更近了一步。
人工智能（AI）再次提高了賭注。德州撲克機器玩家Pluribus在德州撲克最流行的一種變體——六人無限注中擊敗了頂級人類職業(yè)選手。這是AI首次在玩家人數(shù)超過兩人的游戲中擊敗頂級人類選手。
多人德州撲克也被AI征服了。
來源：Alexandre Rotenberg/Alamy
“雖然從二人增加到六人看起來只是多了幾個人，但實際上卻有本質(zhì)差別。”紐約大學(xué)研究博弈和AI的Julian Togelius說，“‘多人’是至今為止未曾研究過的游戲要素?！?/p>
此前，Pluribus背后的團隊構(gòu)建過一臺叫做“Libratus”的 AI，并在一對一的德州撲克中擊敗了職業(yè)選手。Pluribus是基于Libratus的升級，并且它打比賽需要的計算力要少很多。在連續(xù)12天超過10000手的比賽中，它擊敗了15名頂級人類玩家。“很多AI研究者原本認為我們的技術(shù)是不可能做到的?！眮碜钥▋?nèi)基·梅隆大學(xué)和Facebook人工智能研究院的Noam Brown說。他與其卡內(nèi)基大學(xué)的同事Tuomas Sandholm一起開發(fā)了Pluribus。
其他AI也擊敗過人類選手，例如Libratus和DeepMind的圍棋AI。它們證明了在二人零和游戲中，人類無法戰(zhàn)勝機器。在這些場景中，一定是一人贏一人輸，而博弈論提供了一種良定義的最優(yōu)策略。
但是在有多位玩家，利益互相沖突，缺乏明確的輸贏條件的時候，博弈論就沒那么有效了——而現(xiàn)實生活中的難題大多屬于這一類。Brown說，征服多人德州撲克就意味著Pluribus為未來AI解決這類復(fù)雜問題奠定了基礎(chǔ)。他認為這一成果有助于推動其他應(yīng)用發(fā)展，例如機器談判、偵查欺詐以及自動駕駛。
多一個玩家，多一層復(fù)雜性
為了玩好六人德州撲克，Brown和Sandholm大幅改變了Libratus的搜索算法。大部分游戲AI都是沿著決策樹向前搜索，尋找給定局面下的最優(yōu)行動。Libratus會搜索到游戲終局，才會選擇某個行動。
但是玩家數(shù)量增加所帶來的復(fù)雜性讓這種策略變得不再可行。德州撲克要求使用隱藏信息進行推理——玩家必須根據(jù)此前的下注來思考對方可能會有什么牌，對方又認為自己有什么牌，然后才能制定策略。但是增加玩家會讓選擇行動變得更為困難，因為這樣就必須思考更多的可能性。
關(guān)鍵突破在于開發(fā)一種算法，讓Pluribus可以只向前看為數(shù)不多的幾步就做出決策，而不需要看到游戲終局。
和DeepMind的圍棋AI AlphaZero一樣，Pluribus使用了一種強化學(xué)習(xí)算法從零開始自學(xué)。它先隨機打，等發(fā)現(xiàn)哪些行動可以贏更多錢之后就會不斷優(yōu)化。每手之后，它會回顧自己打得如何，并檢查哪些地方采用不同的行動就可以賺更多的錢，例如某處跟注應(yīng)該改成加注。如果更改策略會帶來更好的結(jié)果，之后它就更可能采取更優(yōu)的行動。
和自己打了上萬億手牌之后，Pluribus就訓(xùn)練出了一種可以在比賽中使用的基本策略。在每個決策點，它會將牌局和手中的基本策略進行比較，并向前搜索幾步看各個行動會導(dǎo)致什么結(jié)果。之后它會檢測是否能有更優(yōu)的策略。由于Pluribus是自我訓(xùn)練，沒有人類輸入，因此它會用一些人類玩家不太可能使用的策略。
AI的玩具箱
Pluribus的成功很大程度上是因為它的高效。它打牌的時候只使用2個CPU。與之相比，DeepMind最早的圍棋AI在首次擊敗頂級人類玩家的時候使用了將近2000個CPU，而Libratus使用了100個CPU。自己對戰(zhàn)的時候，Pluribus一手只需大約20秒——這比人類職業(yè)玩家大約要快一倍。
游戲是一種公認的可以有效檢測AI進展的方式，因為AI可以和人類頂級玩家直接對決。如果獲勝的話，就可以名正言順地被譽為“超人”。但是Brown認為，AI已經(jīng)要離開自己的玩具箱了?！斑@是德州撲克里面最后的一項挑戰(zhàn)?！彼f。
但Togelius認為AI研究者和游戲還有一段路要走?！?strong>還有很多未被探索的領(lǐng)域。”他說。掌握了超過一種游戲的AI并不多——這要求AI有某種綜合能力，而非專精一技。此外， AI也不應(yīng)局限于當(dāng)玩家，“還可以設(shè)計游戲，這對AI會是一項很不錯的挑戰(zhàn)。”Togelius說。
原文以No limit: AI poker bot is first to beat professionals at multiplayer game為標(biāo)題
發(fā)布在2019年7月11日《自然》新聞上
?
Nature|doi:10.1038/d41586-019-02156-9
版權(quán)聲明：
