3月18日，AI公司月之暗面（Moonshot AI）宣布，其旗下的自千億參數(shù)大模型AI助手Kimi已經(jīng)可以支持200萬(wàn)字文件的輸入分析，即日開(kāi)啟內(nèi)側(cè)通道。
要知道，根據(jù)機(jī)器之心數(shù)據(jù)顯示，尚未上線的GPT-4.5 Turbo上下文窗口指定為 256000 個(gè) token，能同時(shí)能夠處理約 200000 個(gè)單詞，KIMI此次升級(jí)后長(zhǎng)文本能力為其10倍。
隨著KIMI長(zhǎng)文本能力的提升，也意味著其能夠完成更長(zhǎng)和更復(fù)雜的任務(wù)。
/ 01 / AI大模型都在卷的上下文長(zhǎng)度
AI助手Kimi200萬(wàn)的上傳文本上限是個(gè)什么概念？作為對(duì)比，目前ChatGPT-4支持的token數(shù)量為32768，約為2.5萬(wàn)個(gè)中國(guó)漢字。而升級(jí)版智能助手Kimi的文本閱讀量已經(jīng)是GPT-4的80倍，是Gemini1.5的20倍。
事實(shí)上，提升上下文長(zhǎng)度的事情也不止月之暗面在做。去年下半年開(kāi)始，OpenAI、Anthropic等模型公司紛紛發(fā)布上下文長(zhǎng)度的最新進(jìn)展。今年2月，谷歌發(fā)布的Gemini 1.5Pro，再次將上下文刷新為100萬(wàn) token，創(chuàng)下了最長(zhǎng)上下文窗口的記錄，相當(dāng)于1小時(shí)的視頻或者70萬(wàn)個(gè)單詞。
上下文技術(shù)，是指模型在生成文本、回答問(wèn)題或執(zhí)行其他任務(wù)時(shí)，能夠考慮并參照的前置文本的數(shù)量或范圍，是一種大模型對(duì)信息理解深度和廣度的評(píng)價(jià)維度。用通俗的話來(lái)說(shuō)，如果參數(shù)規(guī)模大小比喻成模型的計(jì)算能力，那么上下文長(zhǎng)度更像是模型的“內(nèi)存”，決定了模型每輪對(duì)話能處理多少上下文信息，直接影響著AI應(yīng)用的體驗(yàn)好壞。
比如，隨著上下文窗口長(zhǎng)度的增加，可以提供更豐富的語(yǔ)義信息，有助于減少LLM的出錯(cuò)率和「幻覺(jué)」發(fā)生的可能性，用戶使用時(shí)，體驗(yàn)?zāi)芴嵘簧佟?/p>
在業(yè)內(nèi)人士看來(lái)，上下文長(zhǎng)度增加對(duì)模型能力提升意義巨大。用OpenAI開(kāi)發(fā)者關(guān)系主管Logan Kilpatrick話說(shuō)，“上下文就是一切，是唯一重要的事”，提供足夠的上下文信息是獲得有意義回答的關(guān)鍵。
在楊植麟看來(lái)，通往 AGI 的話，上下文長(zhǎng)度將會(huì)成為一個(gè)很重要的點(diǎn)。根據(jù)楊植麟判斷，AI-Native 產(chǎn)品的終極價(jià)值是提供個(gè)性化的交互，而無(wú)損長(zhǎng)上下文是實(shí)現(xiàn)這一點(diǎn)的基礎(chǔ)——模型的微調(diào)長(zhǎng)期不應(yīng)該存在，用戶跟模型的交互歷史就是最好的個(gè)性化過(guò)程，歷史上每一代技術(shù)都是在提升上下文長(zhǎng)度。
/ 02 / 90后創(chuàng)始人，一年融資10億美元
作為一款專注于文檔總結(jié)、會(huì)議紀(jì)要的辦公類AI助手，Kimi能夠幫助用戶進(jìn)行新聞分析、法律研讀、中醫(yī)藥記錄檢索、財(cái)務(wù)報(bào)告審閱，例如，用戶將一份26頁(yè)的英文論文提交給Kimi，Kimi便可以生成文章大意。
超長(zhǎng)文本分析能力、自動(dòng)化內(nèi)容生成能力和多類文件的支持檢索能力讓Kimi在中國(guó)大模型市場(chǎng)占領(lǐng)了領(lǐng)先地位，成為世界長(zhǎng)文本LLM之最，被網(wǎng)友們親切地稱為“國(guó)產(chǎn)大模型之光”。
憑借出色的產(chǎn)品能力，月之暗面也受到了很多投資人的青睞。截至目前，月之暗面總共完成過(guò)兩輪融資。第一輪融資發(fā)生在公司成立初，融資規(guī)模高達(dá)2億美金，由紅杉、真格等一線VC領(lǐng)頭，市場(chǎng)估值約在3億美元。
2月中旬，據(jù)此前晚點(diǎn)的報(bào)道，月之暗面完成了一輪8億美元的B輪融資，此輪投資方為阿里巴巴和礪思資本。本輪結(jié)束后，月之暗面估值超過(guò) 23 億美元。
從團(tuán)隊(duì)構(gòu)成看，月之暗面擁有一支智力超群的學(xué)術(shù)團(tuán)隊(duì)，團(tuán)隊(duì)人均90后，且核心成員多出身于清華系。其中，公司創(chuàng)始人楊植麟是清華大學(xué)交叉信息研究院助理教授，年僅28歲。作為Transformer-XL和XLNet兩篇論文的第一作者，他是中國(guó)35歲以下NLP自然語(yǔ)言處理領(lǐng)域引用量最高的人工智能學(xué)者。
對(duì)于最新的研發(fā)進(jìn)展，月之暗面負(fù)責(zé)人表示公司將會(huì)跟進(jìn)最新的多模態(tài)AI研發(fā)?；蛟S在不久的將來(lái)，支持圖文、視頻、語(yǔ)音等多模態(tài)數(shù)據(jù)輸入輸出的AI助手Kimi就會(huì)出現(xiàn)在大家面前，我們拭目以待。
聯(lián)系客服
