就在上周三，斯坦福大學(xué)發(fā)布了最新的 DAWNBench 榜單，這是全球人工智能領(lǐng)域最權(quán)威的競(jìng)賽之一。華為云 ModelArts 一站式AI開發(fā)平臺(tái)，將圖像識(shí)別總訓(xùn)練時(shí)間和推理性能榜單的冠軍收入囊中。
此次華為云 ModelArts 將訓(xùn)練時(shí)間縮短至4分8秒，比3個(gè)月前榜單公布的紀(jì)錄足足快了一倍。而此前幾次 DAWNBench 圖像識(shí)別訓(xùn)練的最佳紀(jì)錄也均由華為云 ModelArts 創(chuàng)造。
大洋彼岸的喜訊剛剛公布，僅隔一日，榕城福州又為AI開發(fā)者們帶來新的好消息。在華為中國生態(tài)伙伴大會(huì)上，華為云 AI 市場(chǎng)正式發(fā)布。這個(gè)在華為云 ModelArts 平臺(tái)基礎(chǔ)上構(gòu)建的開發(fā)者生態(tài)社區(qū)，為高校、企業(yè)及個(gè)人開發(fā)者等群體提供安全開放、公平可靠的 AI 模型、API、數(shù)據(jù)集以及競(jìng)賽案例等內(nèi)容共享和交易。
那么，勢(shì)頭強(qiáng)勁的華為云 ModelArts 究竟有何超能力？它如何在高手如云的基準(zhǔn)測(cè)試中，僅用短短3個(gè)月便打破自己的紀(jì)錄？它又分別對(duì)訓(xùn)練和推理做了哪些優(yōu)化，從而實(shí)現(xiàn)如此出色的性能？新發(fā)布的AI市場(chǎng)又為 AI 開發(fā)者們帶來了哪些便利？本文將一一揭曉華為云 ModelArts 的技術(shù)硬實(shí)力究竟強(qiáng)在哪兒。
斯坦福 DAWNBench 榜單是用以衡量端到端的深度學(xué)習(xí)模型訓(xùn)練和推理性能的國際權(quán)威基準(zhǔn)測(cè)試平臺(tái)，相應(yīng)的排行榜反映了當(dāng)前業(yè)界深度學(xué)習(xí)平臺(tái)技術(shù)的領(lǐng)先性。
該榜單最新的圖像識(shí)別排行榜顯示，在訓(xùn)練性能方面，華為云 ModelArts 用128塊 V100 GPU，在 ResNet50_on_ImageNet（93%以上精度）上訓(xùn)練模型，訓(xùn)練時(shí)間僅為4分08秒，較其2018年12月創(chuàng)下的9分22秒紀(jì)錄快了1倍，比此前 fast.ai 在 AWS 平臺(tái)上的訓(xùn)練速度快4倍。
▲斯坦福大學(xué) DAWNBench 訓(xùn)練時(shí)間榜單
在推理性能方面，華為云 ModelArts 識(shí)別圖片的速度是第二名的1.72倍、亞馬遜的4倍、谷歌的9.1倍。
▲斯坦福大學(xué) DAWNBench 推理性能榜單
華為云 ModelArts 是如何做到在國際權(quán)威深度學(xué)習(xí)模型基準(zhǔn)平臺(tái)上表現(xiàn)出色，并在短短3個(gè)月的時(shí)間打破自己創(chuàng)造的紀(jì)錄？
這就要?dú)w功于 ModelArts 團(tuán)隊(duì)從訓(xùn)練和推理兩大部分著手，包括高性能分布式模型訓(xùn)練和極速推理技術(shù)在內(nèi)的一系列優(yōu)化。
在訓(xùn)練方面，華為云 ModelArts 團(tuán)隊(duì)主要從深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、分布式訓(xùn)練框架、深度學(xué)習(xí)訓(xùn)練算法三個(gè)維度展開優(yōu)化。
本次使用的網(wǎng)絡(luò)結(jié)構(gòu)是基于經(jīng)典的 ResNet50 結(jié)構(gòu)。由于在訓(xùn)練中使用了 128*128 的低分辨率輸入圖片來提升訓(xùn)練的速度，對(duì)訓(xùn)練精度產(chǎn)生了一定影響，原始模型無法在維持訓(xùn)練 epoch 數(shù)的情況下將模型訓(xùn)練到指定的 top5 93% 精度。
為此，ModelArts 團(tuán)隊(duì)對(duì) ResNet50 中的卷積結(jié)構(gòu)進(jìn)行了優(yōu)化，從而在低分辨率訓(xùn)練模式下也能夠穩(wěn)定達(dá)到目標(biāo)精度。
深度學(xué)習(xí)訓(xùn)練過程涉及大規(guī)模的參數(shù)的網(wǎng)絡(luò)間傳遞。TensorFlow 使用中心化的網(wǎng)絡(luò)參數(shù)服務(wù)器（Parameter Server）來承擔(dān)梯度的收集、平均和分發(fā)工作，對(duì) server 節(jié)點(diǎn)的訪問會(huì)成為瓶頸，帶寬利用率低。為此 ModelArts 團(tuán)隊(duì)使用 AllReduce 算法來進(jìn)行梯度聚合來優(yōu)化帶寬。
同時(shí)對(duì)傳輸?shù)奶荻冗M(jìn)行融合，對(duì)小于閾值大小的梯度多次傳輸合并為一次，提升帶寬利用率；另外在通信底層采用 NVIDIA 的 NvLink、P2P 等技術(shù)來提升節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間通信帶寬，降低通信時(shí)延。
在本次的訓(xùn)練過程中使用的分布式全局 batch size 為32768，這樣的超大 batch size 提升了訓(xùn)練的并行度，但也導(dǎo)致了收斂精度降低的問題。為此 ModelArts 團(tuán)隊(duì)實(shí)現(xiàn)《Large Batch Training of Convolutional Networks》中提出的層次自適應(yīng)速率縮放（LARS）算法，在全局學(xué)習(xí)率調(diào)度方面，使用了帶 warmup 的 linear cosine decay scheduler，訓(xùn)練優(yōu)化器則采用 momentum 算法。
在本次提交的訓(xùn)練結(jié)果中，ModelArts 僅用了35個(gè) epoch 即將模型訓(xùn)練到了指定精度，并在全程除了最后一個(gè) epoch 外均保持在32K的大 batch size 下，最終用時(shí)4分08秒，比之前的成績(jī)?cè)俅翁嵘艘槐丁?div id="fu8ihs5fyo3" class='imgcenter'>
在推理方面，ModelArts 團(tuán)隊(duì)從以下三個(gè)方面進(jìn)行了優(yōu)化：1.網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化2. Int8 量化3. 神經(jīng)網(wǎng)絡(luò)卷積通道剪枝。
在推理中同樣采用了 ResNet50 模型，并且是推理效率更優(yōu)的 ResNet50-v1 版本。在此模型的基礎(chǔ)上將降采樣提前并使用了信息損失更小的降采樣方法，既提升了推理速度，又獲得了更高的模型精度。
低比特量化是提升推理性能的一種主要手段，其中 int8 量化方法的通用性強(qiáng)且對(duì)模型精度的損失小。在量化的過程中先加載原始模型，再對(duì)原始模型創(chuàng)建對(duì)應(yīng)的 int8 量化模型，然后提取訓(xùn)練中典型樣本對(duì)量化模型進(jìn)行校準(zhǔn)，最后基于校準(zhǔn)結(jié)果產(chǎn)生優(yōu)化后的 int8 模型。
在此量化中模型的推理精度僅損失了0.15%，而模型的推理速度提升了2倍以上。
研究表明網(wǎng)絡(luò)中很多連接都是接近0或者冗余的，對(duì)這些參數(shù)進(jìn)行剔除對(duì)精度影響相對(duì)較小。模型剪枝方法包含結(jié)構(gòu)剪枝和非結(jié)構(gòu)剪枝。非結(jié)構(gòu)化剪枝設(shè)定一個(gè)閾值，當(dāng)權(quán)重低于這個(gè)閾值時(shí)候會(huì)被設(shè)置為0，不再更新。
這個(gè)方法使得模型連接變得稀疏，但是由于這些連接分散在各個(gè)權(quán)重里，而由于 GPU 并不支持稀疏矩陣卷積和乘法加速，因此并不能有效提升推理速度。
結(jié)構(gòu)化剪枝主要使用的方法是卷積通道剪枝，即通過一些方法評(píng)估神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積核的影響系數(shù)，然后將其中影響系數(shù)較低的卷積核整體去掉，而使得整個(gè)模型變小，推理速度提升。
值得一提的是，這次在華為中國生態(tài)伙伴大會(huì)上，華為將“平臺(tái)+生態(tài)”戰(zhàn)略演進(jìn)為“平臺(tái)+AI+生態(tài)”，為合作伙伴提供“行業(yè)+AI”的支持。
華為副總裁、云 BU 總裁鄭葉來也正式啟動(dòng)了華為云 AI 市場(chǎng)并宣布投入專項(xiàng)激勵(lì)，在 AI 市場(chǎng)上幫助開發(fā)者、合作伙伴加速企業(yè)的 AI 應(yīng)用落地。
如前所述，華為云 AI 市場(chǎng)主要包括 AI 模型市場(chǎng)、API 市場(chǎng)、WIKI 數(shù)據(jù)集和競(jìng)賽 Hub 和案例 Hub 等模塊資源，用戶可自由選擇感興趣的資源進(jìn)行交易。
從高?？蒲袡C(jī)構(gòu)、AI應(yīng)用開發(fā)商、解決方案集成商、企業(yè)到個(gè)人開發(fā)者，這些 AI 開發(fā)生態(tài)鏈各參與方均被有效連接，AI 市場(chǎng)不僅幫助他們加速 AI 產(chǎn)品開發(fā)和落地，而且確保共享及交易環(huán)境足夠安全、開放。
我們來重點(diǎn)談?wù)勅A為云 AI 市場(chǎng)中的 AI 模型市場(chǎng)，這也是國內(nèi)首個(gè)提供發(fā)布及訂閱 AI 模型服務(wù)的平臺(tái)。AI 模型市場(chǎng)的主要功能是發(fā)布和訂閱 AI 模型，通過市場(chǎng)中間人機(jī)制及 ModelArts 平臺(tái)，保證買賣雙方模型和數(shù)據(jù)安全。
賣方用戶在認(rèn)證自己的賬號(hào)后進(jìn)行信用經(jīng)營，可以將自己的模型上傳到市場(chǎng)中，并為模型指定不同的發(fā)布權(quán)限和計(jì)費(fèi)策略，例如按次、包年、包月。買方用戶則可以在 AI 模型市場(chǎng)尋找和訂閱感興趣的模型，用于自己的 AI 推理。
賣方用戶還可以為其模型畫像屬性，這樣一來，買方用戶可以更快地定位目標(biāo)。此外，AI 模型市場(chǎng)支持為發(fā)布的模型配置推理/再訓(xùn)練代碼，買方用戶就可以用這些模型做再訓(xùn)練或者部署成推理服務(wù)。
此前，智東西曾在（神奇！零基礎(chǔ)分分鐘玩轉(zhuǎn)AI，華為云ModelArts全體驗(yàn)）一文中詳述華為云 ModelArts 平臺(tái)的四大亮點(diǎn)和操作流程。ModelArts 有開源數(shù)據(jù)集、自動(dòng)化調(diào)參、MoXing 分布式框架和千級(jí) GPU 集群規(guī)模訓(xùn)練加速、云邊端一鍵式部署等 buff 加成，這一平臺(tái)的上手門檻非常低，從零編程經(jīng)驗(yàn)的小白，到高階算法工程師，都能借助這一平臺(tái)更快更好地完成 AI 模型的訓(xùn)練和推理。
▲華為云 ModelArts 開發(fā)者生態(tài)展區(qū)
華為云 ModelArts 平臺(tái)于今年1月30日正式上線，已經(jīng)陸續(xù)在智慧醫(yī)療、智能制造、自動(dòng)駕駛、智慧城市、智慧安防、水利等 AI 場(chǎng)景大規(guī)模應(yīng)用，幫助各行各業(yè)的企業(yè)及開發(fā)者們實(shí)現(xiàn) AI 開發(fā)應(yīng)用落地，及時(shí)響應(yīng)市場(chǎng)需求。
目前，擁抱 AI 的云計(jì)算仍是一片藍(lán)海市場(chǎng)?；ヂ?lián)網(wǎng)巨頭、傳統(tǒng) ICT 企業(yè)、傳統(tǒng)企業(yè)服務(wù)供應(yīng)商和新興創(chuàng)企等各類玩家涌入這一市場(chǎng)，老玩家穩(wěn)固地位，新玩家加速成長(zhǎng)，云計(jì)算市場(chǎng)的競(jìng)爭(zhēng)正在加劇。
華為云 ModelArts 平臺(tái)可以說是華為“把復(fù)雜要留給自己，把簡(jiǎn)單留給客戶和合作伙伴”理念的直接例證，上至數(shù)據(jù)集、AI 模型等基礎(chǔ)模塊，下至一體式操作流程，讓企業(yè)和開發(fā)者們點(diǎn)點(diǎn)鼠標(biāo)就能完成高質(zhì)量的 AI 開發(fā)。
從華為云 ModelArts 平臺(tái)，我們可以提煉出云計(jì)算服務(wù)商構(gòu)建 AI 服務(wù)競(jìng)爭(zhēng)壁壘的幾個(gè)關(guān)鍵詞——更強(qiáng)大、更全面、更易用、更可靠。隨著 AI 技術(shù)逐漸落實(shí)到各行業(yè)中，泡沫逐漸消散，真正能為企業(yè)提供最優(yōu)質(zhì)服務(wù)、幫助其實(shí)現(xiàn)商業(yè)變現(xiàn)者，才能最終構(gòu)建起更強(qiáng)大的生態(tài)，推動(dòng) AI 應(yīng)用落地走向高潮。
聯(lián)系客服
