△ 左為GPT-2，右為BERT

上周，OpenAI腦洞天大的語(yǔ)言模型GPT-2，用獨(dú)角獸的故事震精了世界。

谷歌BERT“史上最強(qiáng)”的位子沒(méi)坐多久，便有了光芒萬(wàn)丈的后輩。

如今，那個(gè)幫BERT做了PyTorch實(shí)現(xiàn)的團(tuán)隊(duì)，已經(jīng)火速在BERT項(xiàng)目里增加了GPT-2支持，并收到了推特用戶的盛贊。

看來(lái)，就算GPT-2只開源了縮小版，也值得珍惜，畢竟是有1.17億個(gè)參數(shù)的模型。

都到碗里來(lái)

十幾個(gè)小時(shí)前，名叫HuggingFace (抱抱臉) 的團(tuán)隊(duì)，發(fā)布了Pytorch-bert v0.6更新。

這次更新的內(nèi)容，就是增加了GPT-2縮小版的預(yù)訓(xùn)練模型，以及與模型搭配的常用腳本示例。

不過(guò)，為OpenAI家的語(yǔ)言模型添加支持，在Pytorch-bert項(xiàng)目里，已經(jīng)不是第一次了：

一周前發(fā)布的v0.5，就增加了GPT，那是GPT-2的上一代。

同時(shí)增加的，還有谷歌的Transformer-XL，那是1月中旬發(fā)布的語(yǔ)言模型，可以理解超長(zhǎng)的上下文關(guān)系，比普通Transformer快1800多倍。

也就是說(shuō)，地球上知名NLP模型的PyTorch實(shí)現(xiàn)，正在項(xiàng)目里面不斷集結(jié)，場(chǎng)面一派祥和。

這個(gè)學(xué)名叫pytorch-pretrained-BERT的項(xiàng)目，已在GitHub上收集了3600多顆星。

當(dāng)然，項(xiàng)目的主業(yè)還是BERT，有三個(gè)BERT模型提供：

第一個(gè)是原味BERT，第二個(gè)是帶序列分類器的BERT，第三個(gè)是帶token分類器的BERT (用來(lái)做問(wèn)答) 。

來(lái)吧，抱抱臉

HuggingFace (“抱抱臉”) 團(tuán)隊(duì)原本就是做聊天機(jī)器人的，所以主要的貢獻(xiàn)也在自然語(yǔ)言處理 (NLP) 領(lǐng)域。

除了BERT的PyTorch實(shí)現(xiàn)之外，團(tuán)隊(duì)還發(fā)布過(guò)許多其他的源代碼和友善的教程，也都是基于PyTorch。

比如，教你給NLP任務(wù)加速100倍：
https://medium.com/huggingface/100-times-faster-natural-language-processing-in-python-ee32033bdced

用PyTorch實(shí)現(xiàn)了從語(yǔ)言中識(shí)別情緒的DeepMoji模型：
https://github.com/huggingface/torchMoji

還用PyTorch實(shí)現(xiàn)了OpenAI優(yōu)化過(guò)的Transformer模型：
https://github.com/huggingface/pytorch-openai-transformer-lm

所以，發(fā)生了GPT-2這樣的重大進(jìn)展，“抱抱臉”自然是及時(shí)響應(yīng)了。

管他OpenAI敢不敢開源15億參數(shù)的完整模型，管他要不要改名ClosedAI呢。