作者｜油醋
郵箱｜zhuzheng@pingwest.com
“不作詩，也沒有時間作詩，它要深入到各行各業(yè)?！比A為云CEO張平安給迷霧中的盤古大模型定了調(diào)。
7月7日東莞，華為云在開發(fā)者大會上發(fā)布盤古大模型3.0。關(guān)于華為做大模型的方向，它已經(jīng)做了什么，它的技術(shù)架構(gòu)，答案逐漸清晰。
這么多大模型里，盤古看起來是與行業(yè)連接最緊密的，緊密到甚至讓人感覺它是難得從行業(yè)里抽身請假，來發(fā)布會亮了個相。
這是一個不做C端的大模型，而在B端的一些具體場景中，它宣稱自己已經(jīng)是一位滿級選手。
7月6日，華為輪值董事長胡厚崑在世界人工智能大會上預(yù)告了盤古大模型3.0的發(fā)布。同日的另一件事是，盤古氣象大模型在高分辨率全球 AI 氣象預(yù)報系統(tǒng)方面的研究成果在《Nature》正刊發(fā)表。這是近年來中國科技公司首篇作為唯一署名單位發(fā)表的《Nature》正刊論文。
圖源：華為官網(wǎng)
今年5月，盤古氣象大模型提前10天預(yù)測到了臺風(fēng)瑪娃的路徑。這件事交給數(shù)值預(yù)報的話，需要3000臺高性能計算機花5個小時。盤古氣象大模型只花了10秒鐘，用了一臺服務(wù)器，一張卡。
相比傳統(tǒng)的數(shù)值預(yù)報，盤古氣象大模型在天氣預(yù)測速度上提升了1萬倍，并且是首個精度超過傳統(tǒng)數(shù)值預(yù)報方法的AI模型。歐洲中期預(yù)報中心和中央氣象臺等都在實測中發(fā)現(xiàn)盤古預(yù)測的優(yōu)越性。
《Nature》審稿人對該成果給予高度評價：
“華為云盤古氣象大模型讓人們重新審視氣象預(yù)報模型的未來?！?/span>
盤古氣象大模型的模型開發(fā)摒棄了無法完全處理3D氣象信息的2D神經(jīng)網(wǎng)絡(luò)，采用三維神經(jīng)網(wǎng)絡(luò)（3D Earth-Specific Transformer），參數(shù)量為2.56億。
在此之前，這樣一個行業(yè)大模型的訓(xùn)練首先要克服巨大的數(shù)據(jù)工程。盤古3.0喂進(jìn)去了43年的天氣歷史數(shù)據(jù)，以及200tb的海量數(shù)據(jù)。
圖源：華為云
行業(yè)大模型是一個工程學(xué)問題。在大模型推理這樣的辦法出現(xiàn)之前，這些繁瑣的事精也需要被分擔(dān)。比如3000太高性能計算機，或者大量人力。
在貨運鐵路上，每天有無數(shù)高速攝像機以一節(jié)車廂80張的高頻速度對經(jīng)過的貨車底部拍照，然后傳回列車檢測員的電腦屏幕。他們被要求每秒需審閱1張圖，1000列貨車會生產(chǎn)出400萬張照片，需要260雙眼睛來消化巨大的信息量。
列車檢測員，一個急需減負(fù)的工種。
這樣通過通過高速攝像來動態(tài)采集列車車底配件、車體側(cè)部等部位圖像，實時判別貨運列車是否存在故障的貨運鐵路巡檢模式被稱為TFDS（貨車運行故障動態(tài)圖像檢測），基于TFDS預(yù)訓(xùn)練大模型和超過360萬張以上的鐵路貨車圖像，華為在盤古3.0的基礎(chǔ)上訓(xùn)練出了鐵路大模型。
這個鐵路大模型現(xiàn)在已經(jīng)可以精準(zhǔn)識別67種貨車車型，可識別的故障種類達(dá)到430種以上。其無故障圖片篩除率達(dá)到了95%，對于列車檢測員來說這意味著原本400萬張的工作量，現(xiàn)在減到了20萬張。
圖源：華為云
華為云人工智能領(lǐng)域首席科學(xué)家田奇指出了通用大模型落地行業(yè)的三個挑戰(zhàn)：
通用性強，但專業(yè)性弱。
知識雖多，但技能不足。
價值挖掘快，但數(shù)據(jù)安全難保障。
為了解決這三層問題，華為的大模型體系設(shè)計成三層架構(gòu)：L0（基礎(chǔ)大模型）、L1（行業(yè)大模型）和L2（場景模型）。
以盤古鐵路大模型為例，TFDS預(yù)訓(xùn)練大模型的開發(fā)過程就是L1層，而在更具體的應(yīng)用層面，比如故障狀態(tài)分類、關(guān)鍵點檢測則是L2層。
圖源：華為云
L2層是X個，也就是無數(shù)個更細(xì)化的具體場景模型。比如氣象領(lǐng)域的臺風(fēng)預(yù)測，或是金融行業(yè)的銀行網(wǎng)點助手等。重點是開箱即用。
L1層是包括氣象、鐵路以及政務(wù)、金融等行業(yè)在內(nèi)的N個行業(yè)大模型，在行業(yè)公開數(shù)據(jù)以及企業(yè)自有數(shù)據(jù)的支持下幫助企業(yè)訓(xùn)練出自己的大模型。盤古在這一層為客戶提供了公有云部署、云專屬資源池以及HCS私有化部署三種部署方式。
為L1、L2層提供基礎(chǔ)能力的則是自然語言大模型、多模態(tài)大模型、視覺大模型、預(yù)測大模型以及科學(xué)計算大模型，這5個基礎(chǔ)大模型。在L0和L1層的基礎(chǔ)上，華為云提供了大模型行業(yè)開發(fā)套件，為企業(yè)以自有數(shù)據(jù)訓(xùn)練自己的專屬行業(yè)大模型提供途徑。
這一套三層架構(gòu)也叫做5+N+X。
圖源：華為云
L0層內(nèi)，盤古3.0包含一個3萬億tokens的訓(xùn)練數(shù)據(jù)集，和包括問答、生成、視覺等8個領(lǐng)域100多種能力在內(nèi)的能力集。但基礎(chǔ)大模型與能力集以及與數(shù)據(jù)集都是分別解耦的，這意味著在實際訓(xùn)練過程中，數(shù)據(jù)集可以在100億參數(shù)或者1000億參數(shù)的大模型之間快速轉(zhuǎn)換。基礎(chǔ)大模型層內(nèi)的三層結(jié)構(gòu)中間更靈活的按需組合，可以更大限度發(fā)揮基礎(chǔ)大模型的通用能力。
除此之外，盤古3.0提供了100億、380億、710和千億參數(shù)的不同尺寸基礎(chǔ)大模型，以滿足不同客戶的需求。
這個5+N+X的三層架構(gòu)在縱向上追求擊打場景的精準(zhǔn)度，在橫向上講究靈活。
模型能力因為行業(yè)而具像化的同時，底層算力的基礎(chǔ)在支撐著盤古大模型能夠完美的匹配企業(yè)的需求。
昇騰和鯤鵬兩款芯片為基礎(chǔ)的AI算力云平臺配合異構(gòu)計算架構(gòu)CANN，結(jié)合全場景AI框架昇思以及全流程MLOps的機器學(xué)習(xí)平臺Modelarts所形成的全棧能力，在昇騰云上大模型的訓(xùn)練效率可以達(dá)到業(yè)界主流的1.1倍。
圖源：華為云
并且除了自研的AI框架昇思，華為云也可以支持Pytorch、TensorFlow等其他主流的AI框架。在蕪湖AI算力中心之外，華為云也在貴安和烏蘭察布兩個AI算力中心上線了昇騰AI云服務(wù)。算力可達(dá)到2000p FLOPS（200億億次浮點），千卡訓(xùn)練可連續(xù)維持超1個月。
華為是最早開始大模型研究的國內(nèi)企業(yè)之一。2021年華為云拿出了5個基礎(chǔ)大模型，去年迭代到盤古2.0后，氣象、礦山等行業(yè)大模型順勢而出，此次盤古3.0公布的時候，國內(nèi)的大模型競爭已經(jīng)白熱化。而在國內(nèi)公有云市場已經(jīng)升至第二的華為云，技術(shù)能力也開始做厚。
不做詩，堅持“AI for Industries”，后發(fā)先至的盤古3.0并不著急。
它的戰(zhàn)場和優(yōu)勢不在于做一個“Chat”，而是別處。比如基于無線基站而圍攏起的礦山生態(tài)，比如全球300多條城市軌道線路和總長130000多公里的鐵路，比如一個制造企業(yè)的身份。
