2019年，整個(gè)AI行業(yè)的發(fā)展如何？
NLP模型不斷刷新成績(jī)，谷歌和Facebook你方唱罷我登場(chǎng)；
GAN在不斷進(jìn)化，甚至能生成高分辨率難辨真假的人臉；
強(qiáng)化學(xué)習(xí)攻破了《星際2》等戰(zhàn)略游戲。
讓人對(duì)到來(lái)的2020年充滿期待。
最近，Analytics Vidhya發(fā)布了2019年AI技術(shù)回顧報(bào)告，總結(jié)了過(guò)去一年中，AI在不同技術(shù)領(lǐng)域取得的進(jìn)展，并展望了2020年的新趨勢(shì)。
Analytics Vidhya是一個(gè)著名數(shù)據(jù)科學(xué)社區(qū)。其技術(shù)回顧報(bào)告由多位機(jī)器學(xué)習(xí)業(yè)內(nèi)專家撰寫。
報(bào)告認(rèn)為，在過(guò)去的一年中，發(fā)展最為迅猛的是NLP，CV已較為成熟，RL才剛剛起步，明年可能迎來(lái)大爆發(fā)。
量子位在報(bào)告基礎(chǔ)上，進(jìn)行了編譯整理及補(bǔ)充。話不多說(shuō)，一起來(lái)逐一盤點(diǎn)2019的那些AI技術(shù)吧：
NLP在2019年實(shí)現(xiàn)了巨大的飛躍，該領(lǐng)域這一年取得的突破是無(wú)與倫比的。
報(bào)告認(rèn)為，2018年是NLP的分水嶺，2019年本質(zhì)上是在此基礎(chǔ)上進(jìn)一步發(fā)展，讓該領(lǐng)域突飛猛進(jìn)。
自從2017年的論文Attention is All You Need發(fā)表以來(lái)，出現(xiàn)了BERT為代表的NLP模型。之后，Transformer一次又一次地在NLP領(lǐng)域中統(tǒng)治了SOTA結(jié)果。
谷歌的Transformer-XL是另一種基于Transformer的模型，在語(yǔ)言建模方面勝過(guò)BERT。隨后是OpenAI的GPT-2模型，它以其生成非常像人類的語(yǔ)言文字而聞名。
2019年下半年，BERT本身出現(xiàn)了許多創(chuàng)新，例如CMU的XLNet，F(xiàn)acebook AI的RoBERTa和mBERT（多語(yǔ)言BERT）。這些模型在RACE、SQuAD等測(cè)試榜上不斷刷新成績(jī)。
GPT-2則終于釋出完整版，開源15億參數(shù)模型。
GPT-2模型地址：
https://openai.com/blog/gpt-2-1-5b-release/
延伸閱讀
BERT重奪多項(xiàng)測(cè)試第一名，改進(jìn)之后性能追上XLNet，現(xiàn)已開源預(yù)訓(xùn)練模型
模仿川普語(yǔ)氣真假難分，康奈爾盲測(cè)15億參數(shù)模型：從未如此逼真，最強(qiáng)編故事AI完全體來(lái)了
遷移學(xué)習(xí)是2019年NLP領(lǐng)域出現(xiàn)的另一趨勢(shì)。我們開始看到多語(yǔ)言模型，這些模型在大型的未標(biāo)記文本語(yǔ)料庫(kù)上進(jìn)行了預(yù)訓(xùn)練，從而使它們能夠?qū)W習(xí)語(yǔ)言本身的潛在細(xì)微差別。
GPT-2、Transformer-XL等模型幾乎可以對(duì)所有NLP任務(wù)進(jìn)行微調(diào)，并且可以在相對(duì)較少的數(shù)據(jù)下很好地運(yùn)行。
像百度的ERNIE 2.0這樣的模型引入了持續(xù)預(yù)訓(xùn)練的概念，預(yù)訓(xùn)練方法有了很大的進(jìn)步。在此框架中，可以隨時(shí)逐步引入不同的自定義任務(wù)。
隨著一系列NLP新模型帶來(lái)了巨大性能提升，它們的測(cè)試分?jǐn)?shù)也已經(jīng)達(dá)到了上限，分差很小，甚至在GLUE測(cè)試中超過(guò)了人類的平均水平。
因此這些測(cè)試基準(zhǔn)已經(jīng)不足以反映NLP模型的發(fā)展水平，也不利于未來(lái)的進(jìn)一步提高。
DeepMind、紐約大學(xué)、華盛頓大學(xué)聯(lián)合Facebook提出了新的測(cè)試標(biāo)準(zhǔn)SuperGLUE，加入了更難的因果推理任務(wù)，對(duì)NLP模型提出了新的挑戰(zhàn)。
2019年出現(xiàn)了一大批實(shí)用的NLP資源：
斯坦福大學(xué)開源的StanfordNLP庫(kù)，HuggingFace的Transformer預(yù)訓(xùn)練模型庫(kù)。spaCy利用該庫(kù)創(chuàng)建了spacy-transformers，這是一種用于文本處理的工業(yè)級(jí)庫(kù)。
斯坦福NLP小組表示：“與我們?cè)?019年訓(xùn)練的大型語(yǔ)言模型一樣，我們還將重點(diǎn)放在優(yōu)化這些模型上?！?/p>
像BERT，Transformer-XL，GPT-2這些大型模型的問(wèn)題在于，它們的計(jì)算量很大，因此在現(xiàn)實(shí)中使用它們幾乎是不切實(shí)際的。
HuggingFace的DistilBERT顯示，可以將BERT模型的大小減少40％，同時(shí)保留其97％的語(yǔ)言理解能力，并且速度提高60％。
谷歌和豐田研究出了另一種減小BERT模型尺寸的方法ALBERT，它在3個(gè)NLP基準(zhǔn)測(cè)試（GLUE，SQuAD，RACE）上獲得了SOTA的成績(jī)。
延伸閱讀
GitHub萬(wàn)星NLP資源大升級(jí)：實(shí)現(xiàn)Pytorch和TF深度互操作，集成32個(gè)最新預(yù)訓(xùn)練模型
NLP領(lǐng)域在2019年重新燃起了對(duì)英偉達(dá)NeMo等框架開發(fā)音頻數(shù)據(jù)的興趣，該框架使端到端自動(dòng)語(yǔ)音識(shí)別系統(tǒng)的模型訓(xùn)練變得異常輕松。
除了NeMo之外，英偉達(dá)還開源了QuartzNet，QuartzNet 另一個(gè)基于Jasper的新的端到端語(yǔ)音識(shí)別模型架構(gòu)，Jasper是一種小型，高效的語(yǔ)音識(shí)別模型。
在能夠使用多語(yǔ)言數(shù)據(jù)之前，NLP如何真正發(fā)揮作用？
今年，人們對(duì)重新探索NLP庫(kù)（例如StanfordNLP）的多語(yǔ)言途徑有了新的興趣，這些途徑帶有經(jīng)過(guò)預(yù)先訓(xùn)練的模型，可以處理50多種人類語(yǔ)言的文本。您可以想象，這對(duì)社區(qū)產(chǎn)生了巨大影響。
然后，成功嘗試通過(guò)Facebook AI的XLM mBERT（超過(guò)100種語(yǔ)言）和CamemBERT 等項(xiàng)目來(lái)創(chuàng)建像BERT這樣的大型語(yǔ)言模型，該項(xiàng)目針對(duì)法語(yǔ)進(jìn)行了微調(diào)：
以上是2019年NLP領(lǐng)域進(jìn)展的總結(jié)，2020年該領(lǐng)域會(huì)有哪些趨勢(shì)呢？
身為NLP專家、Kaggle Grandmaster的Sudalai Rajkumar推測(cè)了2020年的主要趨勢(shì)：
延續(xù)當(dāng)前趨勢(shì)，在更大的數(shù)據(jù)集上訓(xùn)練更大的深度學(xué)習(xí)模型；
構(gòu)建更多的生產(chǎn)應(yīng)用程序，較小的NLP模型將對(duì)此有所幫助；
手動(dòng)注釋文本數(shù)據(jù)的成本很高，因此半監(jiān)督標(biāo)記方法可能會(huì)變得很重要；
NLP模型的可解釋性，了解模型在進(jìn)行公正決策時(shí)學(xué)到的知識(shí)。
NLP領(lǐng)域?qū)W者、ULMFiT的作者之一Sebastian Ruder認(rèn)為：
不僅會(huì)從龐大的數(shù)據(jù)集中學(xué)習(xí)，還會(huì)看到更多的模型在更少樣本上高效地學(xué)習(xí)；
模型越來(lái)越強(qiáng)調(diào)稀疏性和效率；
重點(diǎn)關(guān)注多語(yǔ)言的更多數(shù)據(jù)集。
計(jì)算機(jī)視覺(jué)方面，今年CVPR、ICCV等國(guó)際頂會(huì)接收論文數(shù)量均有大幅增長(zhǎng)。下面，就來(lái)回顧2019最受矚目的幾種重要算法和實(shí)現(xiàn)。
Mask Scoring R-CNN
在COCO圖像實(shí)例分割任務(wù)上，Mask Scoring R-CNN超越了何愷明的Mask R-CNN，并因此中選計(jì)算機(jī)視覺(jué)頂會(huì)CVPR 2019的口頭報(bào)告。
在Mask R-CNN這樣的模型中，實(shí)例分類的置信度被當(dāng)作mask的質(zhì)量衡量指標(biāo)，但實(shí)際上mask的質(zhì)量和分類的質(zhì)量并沒(méi)有很強(qiáng)的相關(guān)性。
華中科技大學(xué)的這篇文章針對(duì)這個(gè)問(wèn)題進(jìn)行了研究，他們提出了一種新的打分方法：mask score。
不僅僅直接依靠檢測(cè)得到分類得分，Mask Scoring R-CNN模型還單獨(dú)學(xué)習(xí)了一個(gè)針對(duì)mask的得分規(guī)則：MaskloU head。
同時(shí)考慮分類得分和蒙版得分，Mask Scoring R-CNN就能更加公正地評(píng)估算法質(zhì)量，提高實(shí)例分割模型的性能。
研究團(tuán)隊(duì)在COCO數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明Mask Scoring R-CNN在不同的基干網(wǎng)路上，AP提升始終在1.5%左右。
這篇論文被Open Data Science評(píng)為2019年第一季度十佳論文之一。
論文一作是地平線實(shí)習(xí)生黃釗金，來(lái)自華中科技大學(xué)電信學(xué)院副教授王興剛的團(tuán)隊(duì)，王興剛也是這篇論文的作者之一。
SOLO
字節(jié)跳動(dòng)實(shí)習(xí)生王鑫龍?zhí)岢龅膶?shí)例分割新方法SOLO，作為一種單階段實(shí)例分割方法，框架更簡(jiǎn)單，但性能同樣超過(guò)了Mask R-CNN。
SOLO方法的核心思想是，將實(shí)例分割問(wèn)題重新定義為類別感知預(yù)測(cè)問(wèn)題和實(shí)例感知掩碼生成問(wèn)題。
COCO數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，SOLO的效果普遍超過(guò)此前的單階段實(shí)例分割主流方法，在一些指標(biāo)上還超過(guò)了增強(qiáng)版Mask R-CNN。
相關(guān)地址
https://arxiv.org/abs/1903.00241v1
https://arxiv.org/abs/1912.04488
延伸閱讀
性能超越何愷明Mask R-CNN！華科碩士生開源圖像分割新方法 | CVPR19 Oral
字節(jié)跳動(dòng)實(shí)習(xí)生提出實(shí)例分割新方法：性能超過(guò)何愷明Mask R-CNN
EfficientNet是一種模型縮放方法，由谷歌基于AutoML開發(fā)，在ImageNet測(cè)試中實(shí)現(xiàn)了84.1%的準(zhǔn)確率，刷新記錄。
雖然準(zhǔn)確率只比在其之前的SOTA模型Gpipe提高了0.1%，但模型更小更快，參數(shù)量和FLOPs都大幅減少，效率提升10倍之多。
其作者是來(lái)自谷歌大腦的工程師Mingxing Tan和首席科學(xué)家Quoc V. Le。
相關(guān)地址
GitHub：
https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
論文：
https://arxiv.org/abs/1905.11946
延伸閱讀
谷歌開源縮放模型EfficientNets：ImageNet準(zhǔn)確率創(chuàng)紀(jì)錄，效率提高10倍
這項(xiàng)超強(qiáng)PyTorch目標(biāo)檢測(cè)庫(kù)來(lái)自Facebook。
比起初代Detectron，它訓(xùn)練比從前更快，功能比從前更全，支持的模型也比從前更豐盛。一度登上GitHub熱榜第一。
實(shí)際上，Detectron2是對(duì)初代Detectron的完全重寫：初代是在Caffe2里實(shí)現(xiàn)的，而為了更快地迭代模型設(shè)計(jì)和實(shí)驗(yàn)，Detectron2是在PyTorch里從零開始寫成的。
并且，Detectron2實(shí)現(xiàn)了模塊化，用戶可以把自己定制的模塊實(shí)現(xiàn)，加到一個(gè)目標(biāo)檢測(cè)系統(tǒng)的任何部分里去。
這意味著許多的新研究，都能用幾百行代碼寫成，并且可以把新實(shí)現(xiàn)的部分，跟核心Detectron2庫(kù)完全分開。
Detectron2在一代所有可用模型的基礎(chǔ)上（Faster R-CNN，Mask R-CNN，RetinaNet，DensePose），還加入了了Cascade R-NN，Panoptic FPN，以及TensorMask等新模型。
相關(guān)地址
GitHub：
https://github.com/facebookresearch/detectron2
延伸閱讀
GitHub趨勢(shì)榜第一：超強(qiáng)PyTorch目標(biāo)檢測(cè)庫(kù)Detectron2，訓(xùn)練更快，支持更多任務(wù)
2019年，GAN們依然活躍。
比如同樣來(lái)自Google DeepMind的VQ-VAE二代，生成的圖像比BigGAN更加高清逼真，而且更具多樣性：
https://arxiv.org/abs/1906.00446
BigBiGAN，不僅能生成質(zhì)量?jī)?yōu)秀的圖像，還在圖像分類任務(wù)上刷新了記錄：
https://arxiv.org/abs/1907.02544
以色列理工學(xué)院和谷歌聯(lián)合出品，拿下ICCV2019最佳論文的SinGAN：
https://arxiv.org/abs/1905.01164
英偉達(dá)的StyleGAN也高能進(jìn)化成為StyleGAN2，彌補(bǔ)了第一代的各種缺陷：
https://arxiv.org/abs/1912.04958
延伸閱讀
史上最佳GAN被超越！生成人臉動(dòng)物高清大圖真假難辨，DeepMind發(fā)布二代VQ-VAE
刷新ImageNet紀(jì)錄，GAN不只會(huì)造假！DeepMind用它做圖像分類，秒殺職業(yè)分類AI
ICCV2019最佳論文SinGAN全面解讀，看這一篇就懂了
如果沒(méi)有StyleGAN2，真以為初代就是巔峰了：英偉達(dá)人臉生成器高能進(jìn)化，彌補(bǔ)重大缺陷
展望2020年，Analytics Vidhya認(rèn)為，視覺(jué)領(lǐng)域的重點(diǎn)，依然會(huì)聚焦在GAN上：
styleGAN2等新方法正在生成越來(lái)越逼真的面部圖像，檢測(cè)DeepFake將變得越來(lái)越重要。視覺(jué)和（音頻）都將朝向這個(gè)方向進(jìn)行更多研究。
而元學(xué)習(xí)和半監(jiān)督學(xué)習(xí)，則是2020年的另一大重點(diǎn)研究方向。
2019年，現(xiàn)有的強(qiáng)化方法擴(kuò)展到了更大的計(jì)算資源方面，并取得了一定的進(jìn)展。
在過(guò)去的一年里，強(qiáng)化學(xué)習(xí)解決了一系列過(guò)去難以解決的復(fù)雜環(huán)境問(wèn)題，比如在Dota2和星際2等游戲中戰(zhàn)勝了人類頂尖職業(yè)玩家。
報(bào)告指出，盡管這些進(jìn)展引起了媒體行業(yè)極大的關(guān)注，但是當(dāng)前的方法還是存在著一些問(wèn)題：
需要大量的訓(xùn)練數(shù)據(jù)，只有在有足夠準(zhǔn)確和快速的模擬環(huán)境的情況下，才能獲得訓(xùn)練數(shù)據(jù)。許多電子游戲就是這種情況，但大多數(shù)現(xiàn)實(shí)世界中的問(wèn)題卻不是這樣。
由于采用了這種訓(xùn)練模式，因此，大規(guī)模的強(qiáng)化學(xué)習(xí)算法，感覺(jué)就像只是在問(wèn)題空間的過(guò)度密集采過(guò)度產(chǎn)生的策略 ，而不是讓它學(xué)習(xí)環(huán)境中的潛在因果關(guān)系并智能地進(jìn)行概括。
同樣，幾乎所有現(xiàn)有的Deep RL方法在對(duì)抗性樣本、領(lǐng)域外泛化和單樣本學(xué)習(xí)方面都非常脆弱，目前還沒(méi)有好的解決方案。
因此，Deep RL的主要挑戰(zhàn)是逐漸從應(yīng)對(duì)確定性的環(huán)境，轉(zhuǎn)向?qū)Ｗ⒂诟镜倪M(jìn)步，例如泛化、轉(zhuǎn)移學(xué)習(xí)和從有限數(shù)據(jù)中學(xué)習(xí)等等。從一些機(jī)構(gòu)的研究趨勢(shì)中，我們可以看出這一點(diǎn)。
首先OpenAI發(fā)布了一套類似于健身房的新環(huán)境，該環(huán)境使用過(guò)程級(jí)別生成來(lái)測(cè)試Deep RL算法的泛化能力。
許多研究人員開始質(zhì)疑并重新評(píng)估我們對(duì)“智能”的實(shí)際定義。我們開始更好地了解神經(jīng)網(wǎng)絡(luò)的未被發(fā)現(xiàn)的弱點(diǎn)，并利用這些知識(shí)來(lái)建立更好的模型。
延伸閱讀
1-10落敗，5分鐘崩盤！星際2職業(yè)高手史上首次被AI擊潰，AlphaStar一戰(zhàn)成名
碾壓99.8%人類對(duì)手，三種族都達(dá)宗師級(jí)！星際AI登上Nature，技術(shù)首次完整披露
2:0！Dota2世界冠軍OG被OpenAI碾壓，全程人類只推掉兩座外塔
Dota2冠軍OG如何被AI碾壓？OpenAI累積三年的完整論文終于放出
總而言之，2020年的預(yù)測(cè)趨勢(shì)如下：
從有限的數(shù)據(jù)中學(xué)習(xí)和推廣將成為強(qiáng)化學(xué)習(xí)研究的中心主題；
強(qiáng)化學(xué)習(xí)領(lǐng)域的突破與深度學(xué)習(xí)領(lǐng)域的進(jìn)步緊密相關(guān)；
將有越來(lái)越多的研究利用生成模型的力量來(lái)增強(qiáng)各種訓(xùn)練過(guò)程。
隨著人工智能技術(shù)的發(fā)展，跨學(xué)科研究也成為了今年的熱門。AI的身影，頻現(xiàn)于醫(yī)學(xué)、腦機(jī)接口乃至數(shù)學(xué)研究當(dāng)中。
在馬斯克、Facebook紛紛押注的腦機(jī)接口領(lǐng)域，深度學(xué)習(xí)正在幫助研究人員解碼大腦所想。
比如加州大學(xué)舊金山分校這項(xiàng)登上Nature的研究：利用深度學(xué)習(xí)直接讀懂大腦，將大腦信號(hào)轉(zhuǎn)換成語(yǔ)音。
此前的語(yǔ)音合成腦機(jī)接口每分鐘只能生成8個(gè)單詞，而這項(xiàng)研究中的新裝置，每分鐘能生成150個(gè)單詞，接近人類自然語(yǔ)速。
在醫(yī)學(xué)領(lǐng)域，機(jī)器學(xué)習(xí)技術(shù)也不僅僅在醫(yī)療影像識(shí)別上發(fā)揮作用。
比如，德國(guó)組織工程和再生醫(yī)學(xué)研究所的一項(xiàng)研究，就利用深度學(xué)習(xí)算法DeepMACT，自動(dòng)檢測(cè)和分析了整個(gè)小鼠身體中的癌癥轉(zhuǎn)移灶。
基于這項(xiàng)技術(shù)，科學(xué)家首次觀察到了單個(gè)癌細(xì)胞形成的微小轉(zhuǎn)移位點(diǎn)，并且把工作效率提高了300倍以上。
“目前，腫瘤臨床試驗(yàn)的成功率約為5% 。我們相信DeepMACT技術(shù)可以大大改善臨床前研究的藥物開發(fā)過(guò)程。因此，這可能有助于為臨床試驗(yàn)找到更強(qiáng)大的候選藥物，并有望幫助挽救許多生命。”研究的通訊作者Ali Ertürk表示。
雖說(shuō)數(shù)學(xué)是自然科學(xué)的基礎(chǔ)，但在AI不斷的發(fā)展下，也起到了一定“反哺”作用。
Facebook發(fā)表的一項(xiàng)新模型，可以在1秒時(shí)間內(nèi)，精確求解微分方程、不定積分。
不僅如此，性能還超越了常用的Mathematica和Matlab。
積分方程和微分方程，都可以視作將一個(gè)表達(dá)式轉(zhuǎn)換為另一個(gè)表達(dá)式，研究人員認(rèn)為，這是機(jī)器翻譯的一個(gè)特殊實(shí)例，可以用NLP的方法來(lái)解決。
方法主要分為四步：
將數(shù)學(xué)表達(dá)式以樹的形式表示；
引入了seq2seq模型；
生成隨機(jī)表達(dá)式；
計(jì)算表達(dá)式的數(shù)量。
研究人員在一個(gè)擁有5000個(gè)方程的數(shù)據(jù)集中，對(duì)模型求解微積分方程的準(zhǔn)確率進(jìn)行了評(píng)估。
結(jié)果表明，對(duì)于微分方程，波束搜索解碼能大大提高模型的準(zhǔn)確率。
在包含500個(gè)方程的測(cè)試集上，商業(yè)軟件中表現(xiàn)最好的是Mathematica。
而當(dāng)新方法進(jìn)行大小為50的波束搜索時(shí)，模型準(zhǔn)確率就從81.2%提升到了97%，遠(yuǎn)勝于Mathematica（77.2%）
并且，在某一些Mathematica和Matlab無(wú)力解決的問(wèn)題上，新模型都給出了有效解。
從NLP到計(jì)算機(jī)視覺(jué)，再到強(qiáng)化學(xué)習(xí)，2020年有很多值得期待的東西。以下是Analytics Vidhya預(yù)測(cè)的2020年的一些關(guān)鍵趨勢(shì)：
到2020年，機(jī)器學(xué)習(xí)的職位數(shù)量將繼續(xù)呈指數(shù)級(jí)增長(zhǎng)。很大程度上是由于NLP的發(fā)展，許多公司將尋求擴(kuò)大團(tuán)隊(duì)，這是進(jìn)入該領(lǐng)域的好時(shí)機(jī)。
數(shù)據(jù)工程師的作用將更加重要。
AutoML在2018年起飛，但并沒(méi)有在2019年達(dá)到預(yù)期高度。明年，隨著AWS和Google Cloud的現(xiàn)成解決方案變得更加突出，我們應(yīng)該更多地關(guān)注這一點(diǎn)。
2020年將是我們終于看到強(qiáng)化學(xué)習(xí)突破的一年嗎？幾年來(lái)一直處于低迷狀態(tài)，因?yàn)閷⒀芯拷鉀Q方案轉(zhuǎn)移到現(xiàn)實(shí)世界已證明是一個(gè)主要障礙。
最后，不妨比照2018的回顧報(bào)告，給2019年AI技術(shù)表現(xiàn)打個(gè)分吧~
聯(lián)系客服
