采訪｜鄧詠儀 楊軒 陳紫冰
文｜鄧詠儀
編輯｜楊軒 蘇建勛
站在核爆中心圈，是一種什么樣的體驗(yàn)？
在這次ChatGPT引發(fā)的AI大爆炸中，做了十年堪稱(chēng)冷門(mén)的NLP（自然語(yǔ)言處理）的楊植麟，就處在這樣一個(gè)位置。這位保送清華、程序設(shè)計(jì)課程滿(mǎn)分的“少年天才”，在卡耐基梅隆大學(xué)讀博士時(shí)，就已經(jīng)作為第一作者發(fā)表的關(guān)于Transformer-XL與XLNet的兩篇論文，成為本次AI大模型技術(shù)能夠突破的重要一環(huán)。
“先是非常激動(dòng)，好像被蘋(píng)果砸中一樣，”楊植麟對(duì)36氪說(shuō)，隨即又陷入沮喪，再想到可干的事情還很多，又“興奮起來(lái)”。
楊植麟
這也是他新創(chuàng)辦的第二家AI公司“月之暗面（Moonshot）”的由來(lái)。Moonshot這個(gè)名字，則來(lái)自英國(guó)著名搖滾樂(lè)隊(duì)Pink Floyd的專(zhuān)輯《Dark Side of the Moon》。
楊植麟認(rèn)為，做大模型如同登月工程一樣，“月之暗面”意味著神秘，令人好奇和向往，同時(shí)又極具挑戰(zhàn)難度。
事實(shí)上，月之暗面的核心團(tuán)隊(duì)曾參與到Google Gemini、Google Bard、盤(pán)古NLP、悟道等多個(gè)大模型的研發(fā)中——這是一支在“登月”道路上已探索多年的隊(duì)伍。而AI大模型，目前還在一個(gè)以技術(shù)能力定成敗的階段。
在這半年的國(guó)內(nèi)大模型市場(chǎng)中，Moonshot顯得尤為沉默，但并不妨礙投資人的蜂擁而至。36氪最新獲得的消息是，月之暗面已經(jīng)完成一輪超過(guò)2億美元的融資，目前身處中國(guó)大模型創(chuàng)業(yè)公司融資額第一梯隊(duì)。
成立半年多后，10月9日，Moonshot終于推出了首款大模型產(chǎn)品：智能助手Kimi Chat。這是Moonshot在大模型領(lǐng)域做To C超級(jí)應(yīng)用的第一次嘗試。
來(lái)源：Moonshot
Kimi Chat支持輸入20萬(wàn)漢字，是目前全球大模型產(chǎn)品中所能支持的最長(zhǎng)上下文輸入長(zhǎng)度。
這也代表著，Moonshot在長(zhǎng)文本技術(shù)的探索突破到了一個(gè)新高度——對(duì)比當(dāng)前市面上幾家主流模型，Kimi Chat的上下文長(zhǎng)度是Claude 100k的2.5倍（實(shí)測(cè)約8萬(wàn)字），GPT-4-32k的8倍（實(shí)測(cè)約2.5萬(wàn)字）。
如今市面上的大模型產(chǎn)品繁多，拓展了上下文長(zhǎng)度的Kimi Chat，在使用上有什么不同？
最明顯的是，你可以一次性給模型輸入大量的信息，由模型理解進(jìn)行問(wèn)答和信息處理，有效減少幻覺(jué)問(wèn)題。
比如，公眾號(hào)的長(zhǎng)文也可以交給Kimi Chat ，讓它幫你總結(jié)分析：
來(lái)源：Moonshot
發(fā)現(xiàn)了新的算法論文時(shí)，Kimi能夠直接幫你根據(jù)論文復(fù)現(xiàn)代碼：
來(lái)源：Moonshot
快要考試了，直接把一整本教材交給Kimi，就可以讓它陪你準(zhǔn)備考試：
來(lái)源：Moonshot
甚至，也可以只用一個(gè)鏈接就讓它來(lái)扮演你喜愛(ài)的游戲角色，和你對(duì)話(huà)：
來(lái)源：Moonshot
值得關(guān)注的一點(diǎn)是，不同于其他大模型公司拼參數(shù)、展示各種各樣的行業(yè)案例，在Moonshot的發(fā)布會(huì)上，“長(zhǎng)文本”成了絕對(duì)的主角。
“無(wú)論是文字、語(yǔ)音還是視頻，對(duì)海量數(shù)據(jù)的無(wú)損壓縮可以實(shí)現(xiàn)高程度的智能。而要有效提升大模型的性能，不僅要擴(kuò)大模型參數(shù)，更要提升上下文長(zhǎng)度，兩者同樣重要?！睏钪谗氡硎?。
大模型之所以能在智能水平有質(zhì)的飛躍，是因?yàn)橥ㄟ^(guò)擴(kuò)大參數(shù)規(guī)模，突破到了千億級(jí)別，才能夠讓智能“涌現(xiàn)”（Emergence，指模型自主產(chǎn)生出復(fù)雜行為或特性）。
但如今，大模型落地更重要的瓶頸不是模型大小，而是在于上下文不夠，文本長(zhǎng)度不足會(huì)帶來(lái)對(duì)模型能力的嚴(yán)重束縛。
一個(gè)典型問(wèn)題是，如果遇到多輪對(duì)話(huà)或者需要復(fù)雜步驟的場(chǎng)景，往往會(huì)出現(xiàn)模型記不住的情況——講了具體設(shè)定，但下一回合就忘記。比如，Character AI的用戶(hù)就經(jīng)常吐槽模型記不住關(guān)鍵信息：
來(lái)源：公開(kāi)網(wǎng)絡(luò)
這與計(jì)算機(jī)運(yùn)行的原理類(lèi)似：計(jì)算機(jī)依靠CPU進(jìn)行計(jì)算；內(nèi)存則存放了臨時(shí)計(jì)算的數(shù)據(jù)，決定其運(yùn)行速度?！叭绻f(shuō)參數(shù)量決定了大模型支持多復(fù)雜的'計(jì)算’，而能夠接收多少文本輸入（即長(zhǎng)文本技術(shù)）則決定了大模型有多大的'內(nèi)存’，兩者共同決定模型的應(yīng)用效果?！彼忉尩?。
這也是Moonshot在保持模型擁有千億級(jí)參數(shù)的同時(shí)，首先將上下文長(zhǎng)度先“拉滿(mǎn)”的原因。
要想做到拓寬上下文長(zhǎng)度（Context），在模型訓(xùn)練和推理側(cè)都存在算力+顯存的雙重挑戰(zhàn)。
比如，計(jì)算量會(huì)隨著上下文長(zhǎng)度的增加呈平方級(jí)增長(zhǎng)——比如上下文增加32倍時(shí)，計(jì)算量實(shí)際會(huì)增長(zhǎng)1000倍；而在推理方面，即使是將單機(jī)顯存配置拉到目前的最高水平（如配備8張80GB顯存的GPU芯片），最多只能在千億級(jí)模型上處理約5萬(wàn)漢字的長(zhǎng)度。
但在Kimi Chat上，Moonshot團(tuán)隊(duì)通過(guò)創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)、改進(jìn)算法策略等等，對(duì)模型訓(xùn)練的各個(gè)環(huán)節(jié)進(jìn)行了上百項(xiàng)的優(yōu)化，從而在千億級(jí)參數(shù)下可以實(shí)現(xiàn)對(duì)超長(zhǎng)文本的全文理解。
簡(jiǎn)單而言，Moonshot AI并不通過(guò)當(dāng)前滑動(dòng)窗口、降采樣、小模型等對(duì)效果損害較大的“技術(shù)捷徑”來(lái)實(shí)現(xiàn)長(zhǎng)文本，而是研發(fā)基于大模型的長(zhǎng)程注意力，以實(shí)現(xiàn)真正可用的超長(zhǎng)文本技術(shù)。
讓模型“記性”更好，會(huì)讓大模型未來(lái)的應(yīng)用場(chǎng)景拓寬不少。比如，律師、分析師等職業(yè)，就能讓大模型分析長(zhǎng)篇報(bào)告；像狼人殺這樣需要基于大量信息來(lái)推理的游戲，大模型也能夠勝任。
而在本次產(chǎn)品發(fā)布前，36氪曾與楊植麟進(jìn)行過(guò)一次深談。作為站在這次技術(shù)核爆中心圈的人，楊植麟談起AI大模型，有種篤定感。他會(huì)不時(shí)用輕松的語(yǔ)氣，拋出一些讓人一愣的斷言。
比如，“Next token prediction（預(yù)測(cè)下一個(gè)字段）是唯一的問(wèn)題?！?“只要一條道走到黑，就能實(shí)現(xiàn)通用泛化的智能（AGI）。”
比如，“五年之內(nèi)，大模型將持續(xù)保持較強(qiáng)的技術(shù)壁壘，不會(huì)commoditize（變成平價(jià)的、沒(méi)有壁壘的商品）?！?/p>
從LLM（大語(yǔ)言模型）到LLLM（長(zhǎng)文本大語(yǔ)言模型），Kimi Chat只是Moonshot的第一步。不過(guò)，如今的Moonshot已經(jīng)寄托著楊植麟一些很“黑鏡”的預(yù)想：在未來(lái)，如果機(jī)器能夠掌握一個(gè)人一生的信息，人們就會(huì)擁有自己的AI分身，這個(gè)AI分身共享了你的所有記憶，無(wú)異于另一個(gè)你。
以下為36氪與楊植麟的對(duì)話(huà)實(shí)錄，經(jīng)36氪編輯整理：
36氪：先來(lái)聊聊這次產(chǎn)品發(fā)布吧。很多大廠、創(chuàng)業(yè)公司都會(huì)選擇先發(fā)一個(gè)具體的大模型，開(kāi)源或者閉源的都有。大模型已經(jīng)火了半年后，Moonshot如今選擇先發(fā)一個(gè)To C的智能助手產(chǎn)品。為什么？
楊植麟：因?yàn)槲沂冀K堅(jiān)信以終為始，只有當(dāng)大模型被多數(shù)人使用時(shí)，才會(huì)涌現(xiàn)出最多的智能。Moonshot會(huì)秉承以應(yīng)用為導(dǎo)向的模型開(kāi)發(fā)，我們并不想只是發(fā)布一個(gè)模型，以迅速獲得科技圈可能的短期技術(shù)關(guān)注。
比如，“長(zhǎng)上下文”技術(shù)的價(jià)值，可能很難第一時(shí)間讓用戶(hù)感知到。但通過(guò)Kimi智能助手，就可以直接觸達(dá)用戶(hù)。我們希望讓技術(shù)成為用戶(hù)日常生活中一旦接觸就不可或缺的助手，以真實(shí)的反饋?zhàn)鰜?lái)迭代模型，盡早地創(chuàng)造實(shí)際價(jià)值。
36氪：ChatGPT出來(lái)之后，這半年你的心情是怎么樣的？
楊植麟：這一年來(lái)，我是百感交集。如果是什么可控核聚變的突破，那其實(shí)跟我也沒(méi)什么關(guān)系，但這個(gè)事情（大語(yǔ)言模型）是我做了十年的事情，我覺(jué)得就好像是被蘋(píng)果砸中一樣。
ChatGPT剛發(fā)的時(shí)候，我非常激動(dòng)，我好奇這個(gè)世界到底能做什么樣的AI，我能多大程度去復(fù)制、甚至做得比人腦更好。
同時(shí)，我也陷入到非常沮喪的狀態(tài)——因?yàn)檫@個(gè)事情也不是你做出來(lái)的對(duì)吧？我會(huì)開(kāi)始想在這個(gè)浪潮里我還能貢獻(xiàn)什么，又開(kāi)始興奮起來(lái)：現(xiàn)在是非常好的timing，不管發(fā)生什么，一定要做。
36氪：ChatGPT算是直接促使你創(chuàng)立新公司“月之暗面”？
楊植麟：對(duì)。從一開(kāi)始的激動(dòng)到沮喪，再?zèng)Q定創(chuàng)業(yè)之后，我逐漸恢復(fù)理性思考，思考想要什么樣的團(tuán)隊(duì)來(lái)做，現(xiàn)在是技術(shù)演進(jìn)過(guò)程里的什么階段，我們要做什么？
然后再開(kāi)始焦慮——鋪天蓋地地，所有人都說(shuō)要做大模型，那大模型到底能不能做？是不是做不了？
最后又會(huì)回到理性。我會(huì)去更長(zhǎng)期地看這些個(gè)事情，短期內(nèi)的大模型進(jìn)展，東邊發(fā)一個(gè)模型，西邊發(fā)一個(gè)，其實(shí)都是噪音。
GPT-4的水平在這兒（高一截），其他模型都是在下面，其實(shí)大家現(xiàn)在說(shuō)“我比你高”“你比我高”，沒(méi)什么意義。我這半年都在思考底層邏輯，最后發(fā)現(xiàn)這件事還是很適合我們來(lái)做。
36氪：適合在什么地方？
楊植麟：每一次技術(shù)突破里會(huì)有三層的機(jī)會(huì)。
第一層機(jī)會(huì)，是被第一個(gè)找到第一性原則的人抓住，那就是OpenAI。這需要很強(qiáng)大的vision，非常高瞻遠(yuǎn)矚，是靠經(jīng)驗(yàn)所支撐的。
第二層機(jī)會(huì)就是在技術(shù)創(chuàng)新期，能解決一些技術(shù)方向性的問(wèn)題——比如long context（長(zhǎng)上下文）怎么做？能把技術(shù)做好的團(tuán)隊(duì)可以抓住。
第三層是純應(yīng)用的機(jī)會(huì)，就是技術(shù)已經(jīng)全部清楚了，不再需要考慮技術(shù)層面的事情，只做應(yīng)用。
我們可以抓住的是第二層機(jī)會(huì)，在這個(gè)層面我們擁有很好的積累和優(yōu)勢(shì)。
36氪：月之暗面想做的大模型，是怎么樣的？
楊植麟：我們希望先把模型能力做到世界領(lǐng)先水平，同時(shí)也會(huì)聚焦C端的超級(jí)應(yīng)用，通過(guò)產(chǎn)品連接技術(shù)與用戶(hù)，從而共同創(chuàng)造通用智能，Kimi Chat只是我們的第一個(gè)產(chǎn)品嘗試。
我們現(xiàn)在做的模型已經(jīng)到千億級(jí)，未來(lái)會(huì)是一個(gè)多模態(tài)大模型，當(dāng)前會(huì)先把語(yǔ)言模型做好。
36氪：在做應(yīng)用上，你們大概思考的方向是怎么樣的？
楊植麟：我們還處在技術(shù)創(chuàng)新的階段，所以我們會(huì)先持續(xù)追求世界級(jí)的技術(shù)突破，比如長(zhǎng)上下文、多模態(tài)等。
而在產(chǎn)品層面，我們肯定是堅(jiān)定在To C這一側(cè)，希望能做頭部的Super App。以ChatGPT和Character.ai為例，這兩個(gè)產(chǎn)品已經(jīng)積累了大量的數(shù)據(jù)和用戶(hù)反饋，有大量的跡象證明已經(jīng)通過(guò)這種的產(chǎn)品產(chǎn)生了新的入口，新一代AI在“有用“和”有趣“兩個(gè)方向上，都會(huì)有巨大潛力。
我相信，無(wú)論是智能助手還是情感陪伴，我們都能通過(guò)技術(shù)為更多人解決工作和生活中的實(shí)際問(wèn)題。
36氪：什么樣的是真需求？
楊植麟：比如Character.AI的情感更多元化，他其實(shí)底層滿(mǎn)足的是人的征服欲，我覺(jué)得征服是一個(gè)真正的剛需。
AI最后不會(huì)是一個(gè)完全同質(zhì)化的東西。它不像電，在新加坡充電和中國(guó)充電是一樣的。所以像Character.AI最后所實(shí)現(xiàn)智能可能比其他公司會(huì)更強(qiáng)，因?yàn)樗麄冇袛?shù)據(jù)能一直積累，后面可以做一些專(zhuān)業(yè)化，這也導(dǎo)致以后AI的毛利率會(huì)比以前的云計(jì)算要高。
36氪：好多大模型公司忙著在硅谷挖人，比如從OpenAI、Google、微軟。你是怎么組建起月之暗面的團(tuán)隊(duì)的？
楊植麟：我們很多人還是重新招的。我們更多是找這種30歲左右，有很多一手實(shí)踐經(jīng)驗(yàn)的人。從去年12月開(kāi)始，我就去了一趟海外，開(kāi)始為招人做儲(chǔ)備了。
36氪：海外的AI人才愿意回來(lái)嗎？
楊植麟：我們?cè)诤Ｍ庥衞ffice，其實(shí)兩邊還是可以相結(jié)合的。
36氪：現(xiàn)在月之暗面團(tuán)隊(duì)有多少人？你預(yù)想中的團(tuán)隊(duì)，會(huì)是什么樣子？
楊植麟：我們的團(tuán)隊(duì)約60人，有很多技術(shù)專(zhuān)家，每個(gè)月都有在全球某個(gè)領(lǐng)域有顯著影響力的人加入，我們?cè)谂Υ蛟齑竽Ｐ凸纠锂a(chǎn)品人才密度最高的團(tuán)隊(duì)。
互聯(lián)網(wǎng)時(shí)代的技術(shù)和產(chǎn)品已經(jīng)成熟分工，但我們希望產(chǎn)品團(tuán)隊(duì)能更直接地參與模型優(yōu)化，大幅縮短創(chuàng)新周期。智能時(shí)代無(wú)論技術(shù)、產(chǎn)品、增長(zhǎng)還是商業(yè)化，都存在創(chuàng)新的機(jī)會(huì)。我們的愿景是建立一個(gè)全新的組織，能與用戶(hù)共情，也能用客觀數(shù)據(jù)來(lái)定義美和智能標(biāo)準(zhǔn)，將科技與人文融為一體。
36氪：OpenAI會(huì)是這種組織的理想狀態(tài)嗎？
楊植麟：我覺(jué)得他們提供了很多很好的實(shí)踐。比如他們就不搞賽馬，這是非常重要的例子。
這并不是因?yàn)樗麄冑Y源或者人不夠。他們資源挺多，但是會(huì)把資源放到一個(gè)統(tǒng)一的scope下面。
比如，他們希望花10%的精力去探索一些新的東西，那會(huì)有一個(gè)團(tuán)隊(duì)在做這個(gè)事情，主線(xiàn)永遠(yuǎn)就只有這一個(gè)——這是非常重要的。并且，他們鼓勵(lì)底層創(chuàng)新，每個(gè)人貢獻(xiàn)想法。
36氪：現(xiàn)在不少人關(guān)注成本問(wèn)題，這直接關(guān)系到工程化的成本，還有后續(xù)的商業(yè)化進(jìn)展?，F(xiàn)階段，你最關(guān)注的是什么因素？
楊植麟：就是能不能盡快找到PMF，這是第一優(yōu)先級(jí)。
36氪：現(xiàn)在不少大廠、創(chuàng)業(yè)公司都在發(fā)開(kāi)源模型，Moonshot有開(kāi)源計(jì)劃嗎？你怎么思考這個(gè)問(wèn)題？
楊植麟：我們目前沒(méi)有開(kāi)源計(jì)劃。我認(rèn)為，開(kāi)源和閉源在整個(gè)生態(tài)里面會(huì)扮演不同的角色，開(kāi)源很大一個(gè)作用是在To B端的獲客，如果想做頭部的Super App，大家肯定都是用閉源模型去做的，在開(kāi)源模型上做C端應(yīng)用很難做出差異化。
36氪：你從博士階段就已經(jīng)開(kāi)始創(chuàng)業(yè)，之前創(chuàng)立第一家AI公司“循環(huán)智能”的經(jīng)驗(yàn)，會(huì)給你什么啟發(fā)？
楊植麟：現(xiàn)在月之暗面還是處在第一階段，更重要的任務(wù)是降低不可預(yù)測(cè)性等偏技術(shù)上的工作，其實(shí)不會(huì)太受到外部因素的影響。
但從大環(huán)境上來(lái)說(shuō)，不可預(yù)測(cè)性肯定是要比之前更多了。幾年前的年景更好，可以順著市場(chǎng)做擴(kuò)張，做營(yíng)收；但市場(chǎng)不好時(shí)，反而是需要做成本控制、降低燒錢(qián)速度。這也是我從上一段創(chuàng)業(yè)經(jīng)驗(yàn)學(xué)到最多的。
大模型很燒錢(qián)，把握好投入的速度，同時(shí)還要保證自己還是要拿出東西，有產(chǎn)品數(shù)據(jù)，是非常關(guān)鍵的問(wèn)題。
36氪：AI領(lǐng)域有幾大方向：圖像識(shí)別（CV）、自然語(yǔ)言處理（NLP）、機(jī)器學(xué)習(xí)（ML）。前幾年CV更熱鬧，上一波AI四小龍（商湯、曠視、云從、依圖）都是這個(gè)方向。你一直在做NLP，為什么？
楊植麟：拋開(kāi)偶然因素，還是有一些必然的原因。我覺(jué)得，Vision（視覺(jué)）方向其實(shí)更早地看到一些產(chǎn)業(yè)成果，但NLP可以去解決更多認(rèn)知類(lèi)的問(wèn)題，讓AI真正實(shí)現(xiàn)價(jià)值。
36氪：NLP怎么讓AI真正發(fā)揮價(jià)值？
楊植麟：NLP相當(dāng)于是從視覺(jué)的感知層面，進(jìn)化到更有認(rèn)知的層面。
像Midjourney這種AI繪畫(huà)產(chǎn)品，它可能生成的圖片特別好看，但它本質(zhì)是一個(gè)沒(méi)有大腦的畫(huà)家——你不知道中美關(guān)系怎么樣，不知道印第安人以前是怎么被奴役的。你需要知道這些歷史，才有可能成為一個(gè)頂級(jí)畫(huà)家。甚至最后不光只是畫(huà)畫(huà)，你還要做很多畫(huà)畫(huà)之外的事情。
從這個(gè)點(diǎn)來(lái)說(shuō)，NLP會(huì)解決更難的、更有挑戰(zhàn)性的問(wèn)題，比如推理，它的存在會(huì)讓AI的版圖更加完整。
36氪：Transformer是你主攻的研究方向，它也是ChatGPT誕生的基礎(chǔ)。Transformer的革命性意義在什么地方？
楊植麟：我比較幸運(yùn)的地方在于，我博士有一半時(shí)間是在2017年之后。因?yàn)?017年Transformer出來(lái)了，這是一個(gè)超級(jí)巨大的分水嶺。
Transformer架構(gòu)的出現(xiàn)讓整個(gè)NLP領(lǐng)域都發(fā)生了巨大的認(rèn)知變化。有了這個(gè)東西之后，你就發(fā)現(xiàn)這里面可以做的東西實(shí)在太多了，突然一下子就給大家指明了方向。有很多之前完全無(wú)法實(shí)現(xiàn)的東西，它現(xiàn)在變得有可能了。
36氪：怎么理解這個(gè)“認(rèn)知層面的變化”？
楊植麟：AI領(lǐng)域?qū)φZ(yǔ)言模型的認(rèn)知，存在三個(gè)階段的變化：
2017年前，大家覺(jué)得語(yǔ)言模型有一些有限的作用，比如在這些語(yǔ)音識(shí)別、排序、語(yǔ)法、拼寫(xiě)等等小的場(chǎng)景里面可以做輔助，但用例（Use Case）都很?。?/p>
第二個(gè)階段：Transformer、Bard出現(xiàn)后，語(yǔ)言模型可以做絕大部分的任務(wù)，但它還是一個(gè)輔助的角色——我有一個(gè)語(yǔ)言模型，AI工程師微調(diào)一下任務(wù)就好了；
到第三階段，整個(gè)AI領(lǐng)域發(fā)展到最后，大家的認(rèn)知會(huì)變成：所有東西其實(shí)都是語(yǔ)言模型，語(yǔ)言模型是唯一的問(wèn)題，或者說(shuō)是next token prediction（預(yù)測(cè)下一個(gè)字段）是唯一的問(wèn)題。
這個(gè)世界其實(shí)就是一個(gè)硬盤(pán)模型，當(dāng)人類(lèi)文明數(shù)字化之后，所有人類(lèi)文明之和就是硬盤(pán)的總和。輸入的Token是語(yǔ)言，或者也可以是別的東西——只要能預(yù)測(cè)下一個(gè)Token是什么，那我就能實(shí)現(xiàn)了智能。
從思想到系統(tǒng)的層面，其實(shí)技術(shù)發(fā)生了非常大的變化，這里面有很多變量。然后你就可以在這個(gè)空間里面去看，怎么把這些技術(shù)做的更好。
36氪：從2017年Transformer出現(xiàn)到今年ChatGPT爆火，中間還有五年的時(shí)間。這五年里，你的重要工作——有關(guān)Transformer-XLNet的論文，其實(shí)也有被拒稿過(guò)。中間有過(guò)對(duì)自己研究路線(xiàn)的懷疑嗎？
楊植麟：這個(gè)很有意思。當(dāng)因?yàn)樾袠I(yè)發(fā)生認(rèn)知變化，而變化還沒(méi)有調(diào)整過(guò)來(lái)的時(shí)候，會(huì)存在非共識(shí)。
部分人覺(jué)得非共識(shí)是錯(cuò)的，但其實(shí)他實(shí)際上是對(duì)的。OpenAI在這里面絕對(duì)是一個(gè)先驅(qū)，因?yàn)樗麄冏钤缬羞@種正確的非共識(shí)，最早看到“語(yǔ)言模型是唯一的問(wèn)題”這一點(diǎn)。
我們當(dāng)時(shí)的研究效果非常好，能實(shí)現(xiàn)當(dāng)時(shí)全世界最好的效果。但評(píng)審就問(wèn)我們一個(gè)問(wèn)題：就是說(shuō)語(yǔ)言模型有什么用？你們好像沒(méi)有證明他有用。
但是這個(gè)時(shí)候其實(shí)你要做的事情并不是說(shuō)去尋求認(rèn)同，而是說(shuō)你要把真把那個(gè)事兒給做出來(lái)。
36氪：你說(shuō)“唯一重要的問(wèn)題就是預(yù)測(cè)下一個(gè)字段?！边@個(gè)事兒在當(dāng)時(shí)如果是非共識(shí)的話(huà)，你是怎么意識(shí)到這一點(diǎn)，并且堅(jiān)信的？
楊植麟：坦白說(shuō)，我在那個(gè)時(shí)候還沒(méi)有完全堅(jiān)信這個(gè)事情，直到現(xiàn)在我覺(jué)得它也不一定是個(gè)共識(shí)，而是在逐漸變成共識(shí)的過(guò)程中。
36氪：什么叫“預(yù)測(cè)下一個(gè)字段”，應(yīng)該要怎么理解？
楊植麟：本質(zhì)上，做下一個(gè)token的預(yù)測(cè)，其實(shí)等價(jià)于“對(duì)整個(gè)世界的這個(gè)概率去進(jìn)行建?！?/strong>，就是現(xiàn)在給你任何一個(gè)東西，你都能給他估算一個(gè)概率。
這個(gè)世界本來(lái)就是一個(gè)巨大的概率分布，里面有一些是不可建模的不確定性，你不知道下面會(huì)發(fā)生什么。但有一些是你能確定的，能排除掉一些東西的，這是一個(gè)通用的、對(duì)世界去進(jìn)行建模的模型。有很多歷史學(xué)家來(lái)對(duì)這個(gè)事情做過(guò)研究，比如Density Estimation（密度統(tǒng)計(jì)），大模型本質(zhì)是在做這樣一個(gè)事情。
但當(dāng)時(shí)我只意識(shí)到這是個(gè)重要的問(wèn)題，而沒(méi)有意識(shí)到是唯一要解決的問(wèn)題。
36氪：那是什么時(shí)候讓你改變主意了？
楊植麟：2020年GPT-3出來(lái)的時(shí)候，那個(gè)時(shí)候有了更明確的證據(jù)。OpenAI的人最厲害的點(diǎn)是，他們觀察到了更多的數(shù)據(jù)，再更早的時(shí)候真正去把模型參數(shù)、訓(xùn)練規(guī)模擴(kuò)大，所以他們更早地知道只要一直scale（擴(kuò)大規(guī)模），就可能解決所有的問(wèn)題。
36氪：知道它是如此重要之后，這會(huì)怎么影響你的技術(shù)路線(xiàn)？
楊植麟：回到剛剛那一點(diǎn)，如果這個(gè)世界只有一個(gè)問(wèn)題：要預(yù)測(cè)下一個(gè)字段，那么輸入和輸出其實(shí)是一樣的——也就是“理解”和“生成”其實(shí)也是同一個(gè)問(wèn)題。
幾年前，我們自己也會(huì)區(qū)分，到底是要做理解模型還是生成模型，但現(xiàn)在不需要了。
36氪：不過(guò)，現(xiàn)在有很多團(tuán)隊(duì)的技術(shù)路線(xiàn)，可能會(huì)先做文字理解，在理解這一端做得更多些，生成可能會(huì)靠后一點(diǎn)。
楊植麟：這些思考方向不夠本質(zhì)?，F(xiàn)在任何說(shuō)“只能做理解而非生成”都是錯(cuò)誤的方向。正確的方向應(yīng)該是：理解和生成就是一個(gè)問(wèn)題。如果能做很好的理解，那能做很好的生成，這兩個(gè)應(yīng)該是完全等價(jià)的。
36氪：相當(dāng)于這兩者無(wú)法分開(kāi)來(lái)。
楊植麟：對(duì)的?，F(xiàn)在就只有一個(gè)問(wèn)題。比如說(shuō)我能夠去生成接下來(lái)10秒鐘的視頻，我那我必須對(duì)之前的這個(gè)視頻有很好的理解，你得知道他發(fā)生了什么，這是一個(gè)什么樣的story，接下來(lái)很有可能是什么樣的演進(jìn)，它是分不開(kāi)的。
36氪：你對(duì)實(shí)現(xiàn)AGI（通用泛化的智能）有信心嗎？
楊植麟：有沒(méi)有信心取決于它的第一性原理，我覺(jué)得大家現(xiàn)在已經(jīng)明白原理了，只有一個(gè)問(wèn)題：就是預(yù)測(cè)下一個(gè)字段。一條道走到黑的話(huà)，我覺(jué)得就能實(shí)現(xiàn)。
但確實(shí)還存在一些“第二層面”問(wèn)題，也就是具體的技術(shù)方向難題。但是這些都是小問(wèn)題，并非原則性的，第二個(gè)層面就是我們要去攻克的。
36氪：用一句簡(jiǎn)短的話(huà)來(lái)描述月之暗面的目標(biāo)跟遠(yuǎn)景，你會(huì)怎么說(shuō)？
楊植麟：長(zhǎng)期的幾個(gè)目標(biāo)是：探索智能的極限、讓AI有用，以及讓每個(gè)人都能擁有真正普惠的AI。
36氪：“普惠的AI”怎么理解？
楊植麟：現(xiàn)在的一個(gè)問(wèn)題是，很多時(shí)候AI的價(jià)值觀是被一個(gè)處于中心的機(jī)構(gòu)控制。一個(gè)模型表現(xiàn)成什么樣子，完全是由平臺(tái)來(lái)決定——TA覺(jué)得什么是“好的”，什么是價(jià)值觀正確的答案。
但每個(gè)人會(huì)有自己的價(jià)值觀。價(jià)值觀是更底層的東西，它其實(shí)還包含很多可能——你的偏好，也就是你認(rèn)為什么是對(duì)的，什么是錯(cuò)的。
每個(gè)人都應(yīng)該要有這種個(gè)性化定制的機(jī)會(huì)，所以以后的AI也應(yīng)該要擁有“對(duì)齊”的機(jī)會(huì)。（Alignment，指確保AI系統(tǒng)的行為匹配預(yù)期的人類(lèi)價(jià)值觀和目標(biāo)的過(guò)程）。
當(dāng)然，我們肯定要去設(shè)置安全底線(xiàn)，以及監(jiān)管層面的東西。在這個(gè)基礎(chǔ)上，可以有很多個(gè)性化AI的機(jī)會(huì)。
36氪：個(gè)性化的AI，它的實(shí)現(xiàn)路徑是什么？每個(gè)人都能訓(xùn)練一個(gè)代表自己的AI模型嗎？
楊植麟：你剛說(shuō)的訓(xùn)練是一種方式，但我認(rèn)為可能后面也許不需要去訓(xùn)練，也許直接設(shè)置就可以了。
最終的一個(gè)可能形態(tài)是，AI會(huì)數(shù)字化的所有東西全部記錄下來(lái)，你的手機(jī)、電腦上會(huì)有一個(gè)和你共生的AI Agent（AI代理、AI分身），它會(huì)知道所有一切你能知道的東西。
36氪：你在你的個(gè)人主頁(yè)上寫(xiě)，你的所有的工作目標(biāo)都是“讓AI價(jià)值最大化”。這指的是什么？
楊植麟：最大的價(jià)值就是，最終每個(gè)人不用做自己不想做的事情，保留人性里面最精華的部分。
比如，我們這次談話(huà)也可以不用面對(duì)面，而是有更高效的方式——比如由我們的AI Agent直接對(duì)話(huà)。在公司也是一樣，現(xiàn)在的組織要花時(shí)間去定績(jī)效、考核。其實(shí)這都會(huì)非常花時(shí)間。以后我們也許就不需要公司了，一個(gè)人的效率會(huì)高很多，也不用為了賺一點(diǎn)錢(qián)就非得要去上班，可以用AI來(lái)做很多工作。
要達(dá)到這樣的效果肯定很難，但最終人類(lèi)有可能實(shí)現(xiàn)生產(chǎn)最大化。最后，也許真正的共產(chǎn)主義會(huì)出現(xiàn)。
36氪：如果讓你現(xiàn)在對(duì)未來(lái)做一個(gè)預(yù)測(cè)的話(huà)，你覺(jué)得十年之后我們這個(gè)社會(huì)會(huì)有什么樣的變化？或者說(shuō)AI對(duì)這個(gè)社會(huì)最大的變革，你覺(jué)得會(huì)來(lái)自什么方面？
楊植麟：十年有點(diǎn)難，五年可以說(shuō)一說(shuō)。
我覺(jué)得至少五年內(nèi)大模型技術(shù)不會(huì)commoditize（指技術(shù)還會(huì)有壁壘，不會(huì)變成廉價(jià)的商品）。因?yàn)橹辽龠€有一大批模型沒(méi)有出來(lái)，我們還沒(méi)有真正看到視頻大模型。
我覺(jué)得這兩年可能是文本模型持續(xù)迭代的窗口。后再過(guò)三年，是視頻模型持續(xù)迭代的窗口，這里始終是有技術(shù)壁壘的。
36氪：所以，視頻大模型會(huì)是關(guān)鍵性的節(jié)點(diǎn)？
楊植麟：對(duì)的，這些節(jié)點(diǎn)都邁過(guò)后，會(huì)出現(xiàn)一個(gè)巨大的變革。
美國(guó)有一個(gè)公司叫Rewind（主打“記錄一切”，讓人類(lèi)搜索一切在上看見(jiàn)過(guò)的所有內(nèi)容），現(xiàn)在的產(chǎn)品能實(shí)現(xiàn)的效果，可能只是能問(wèn)它：我上個(gè)月做了什么？它會(huì)記錄下來(lái)，現(xiàn)在的效果還是比較淺層的。
以后的AI Agent會(huì)更加深度地實(shí)現(xiàn)個(gè)性化。比如，大模型會(huì)和你有共享的記憶，知道你所有的價(jià)值偏好，所有的價(jià)值取向。如果你讓他寫(xiě)一個(gè)Q3的規(guī)劃，他會(huì)基于已知的這些東西直接去寫(xiě)規(guī)劃，而不需要知道Q2做了什么東西。
36氪：從文字到圖片，再到視頻大模型、Agent，要實(shí)現(xiàn)的關(guān)鍵是什么？
楊植麟：是context（上下文長(zhǎng)度，也可以理解為模型單次能處理的信息量），這基本決定了AI能產(chǎn)生價(jià)值的上限。
如果大模型的context就是你的全部記憶，理論上，那它就可以做你現(xiàn)在做的全部事情。
對(duì)于大模型來(lái)說(shuō)，最關(guān)鍵的一點(diǎn)就是，你到底能有多少context被捕捉到。這取決于視頻模型的能力，如果模型能力很強(qiáng)，理論上你的手機(jī)和電腦加起來(lái)就差不多是你完整的context。
人的一生也不過(guò)是如此，我們每天就活在數(shù)字世界里面?？赡艹宋覀儸F(xiàn)在這種線(xiàn)下對(duì)話(huà)，他可能捕捉不到，其他大部分都是都o(jì)k的。
36氪：如果真的達(dá)到這種狀態(tài)，人類(lèi)應(yīng)該要怎么和機(jī)器共存？
楊植麟：我自己是比較樂(lè)觀，就是說(shuō)他在提供更多生產(chǎn)力的同時(shí)，他應(yīng)該會(huì)創(chuàng)造很多新的崗位。
視頻現(xiàn)在是大家花時(shí)間最多的地方，所以他肯定會(huì)對(duì)生產(chǎn)關(guān)系產(chǎn)生很大的影響。所以每個(gè)人可能都可以生產(chǎn)（視頻），很多價(jià)值會(huì)被重新分配。
但這是一個(gè)反饋閉環(huán)時(shí)間比較長(zhǎng)的事情。挑戰(zhàn)在于，當(dāng)前替代現(xiàn)有崗位的速度比創(chuàng)造新崗位的速度更快。核心問(wèn)題在于，在理想的崗位沒(méi)有被創(chuàng)造出來(lái)之前，我們?nèi)绾谓鉀Q一些社會(huì)問(wèn)題。
36氪：普通人怎么去面對(duì)這次技術(shù)變革？這種變化繼續(xù)下去，普通人應(yīng)該做點(diǎn)什么？
楊植麟：我覺(jué)得最重要還是學(xué)習(xí)。不光是普通人，我覺(jué)得所有人，擁有最強(qiáng)終身學(xué)習(xí)的能力的人，以后才能夠?qū)崿F(xiàn)自己真正的價(jià)值。
另外一點(diǎn)是要open minded。我四五年就找過(guò)很多人說(shuō)，要不要來(lái)一起做大模型，當(dāng)時(shí)他們說(shuō)我現(xiàn)在要做數(shù)字人，你不要跟我講這些東西（笑）。所以人確實(shí)有時(shí)候還是會(huì)被自己認(rèn)知所局限。無(wú)論我們對(duì)技術(shù)的態(tài)度如何，歷史的發(fā)展都是超出個(gè)人意志的。因此，我們要不斷的自我迭代，適應(yīng)這個(gè)世界唯一不變的，就是變化本身。
聯(lián)系客服
