翻譯 | CDA數(shù)據(jù)分析研究院
原文 | https://blog.statsbot.co/chatbots-machine-learning-e83698b1a91e
你是否曾與蘋(píng)果的Siri，亞馬遜的Alexa，微軟的Cortana或其他助手交談以設(shè)置鬧鐘、給朋友打電話(huà)或安排會(huì)議？許多人可能會(huì)說(shuō)對(duì)的我的確這么做過(guò)，盡管會(huì)話(huà)助手在常見(jiàn)和日常任務(wù)中都很有用，但很難迫使會(huì)話(huà)助手就一般性的，有時(shí)是哲學(xué)性質(zhì)的話(huà)題進(jìn)行討論。
Statsbot團(tuán)隊(duì)邀請(qǐng)了數(shù)據(jù)科學(xué)家，dmitry Persiyanov，來(lái)解釋如何用神經(jīng)會(huì)話(huà)模型修復(fù)這個(gè)問(wèn)題，以及如何使用機(jī)器學(xué)習(xí)來(lái)創(chuàng)建聊天機(jī)器人。
通過(guò)自然語(yǔ)言與機(jī)器交互是通用人工智能的要求之一。人工智能的這一領(lǐng)域被稱(chēng)為對(duì)話(huà)系統(tǒng)，語(yǔ)音對(duì)話(huà)系統(tǒng)或聊天機(jī)器人。機(jī)器需要為你提供信息豐富的答案，維持對(duì)話(huà)的上下文，并且難以與人類(lèi)（理想情況下）區(qū)分。
在實(shí)踐中，最后一項(xiàng)要求尚未達(dá)到，但幸運(yùn)的是，如果機(jī)器人有用，并且是一個(gè)有趣的溝通者，可以進(jìn)行一些有趣的溝通，那么人類(lèi)就準(zhǔn)備好與他們進(jìn)行對(duì)話(huà)了。
對(duì)話(huà)系統(tǒng)目前有兩種主要類(lèi)型：面向目標(biāo)（Siri，Alexa，Cortana等）和一般會(huì)話(huà)（Microsoft Tay bot）。
前者幫助人們使用自然語(yǔ)言解決日常問(wèn)題，而后者嘗試與人們進(jìn)行范圍廣泛的對(duì)話(huà)。
在這篇文章中，我將給出一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的一般會(huì)話(huà)對(duì)話(huà)系統(tǒng)進(jìn)行比較概述。我將描述主要的架構(gòu)類(lèi)型和推進(jìn)它們的方法。
我希望這篇文章最終能成為每個(gè)想要用機(jī)器學(xué)習(xí)創(chuàng)建聊天機(jī)器人的人的切入點(diǎn)。如果你讀完這篇文章直到最后，你就可以訓(xùn)練自己的會(huì)話(huà)模型了。
準(zhǔn)備好了么？
讓我們開(kāi)始吧！
我將參考循環(huán)神經(jīng)網(wǎng)絡(luò)和單詞嵌入，所以你應(yīng)該知道它們是如何工作的，以便輕松地理解這篇文章。
一般會(huì)話(huà)模型可以簡(jiǎn)單地分為兩種主要類(lèi)型 - 生成模型和選擇性（或排名）模型。此外，混合模型也是可能的。但常見(jiàn)的是，這些模型構(gòu)思了對(duì)話(huà)語(yǔ)境的幾個(gè)句子并預(yù)測(cè)了這種語(yǔ)境的答案。在下圖中，你可以看到此類(lèi)系統(tǒng)的說(shuō)明。
在這篇文章中，當(dāng)我說(shuō)“網(wǎng)絡(luò)使用單詞序列”或“單詞被傳遞給RNN”時(shí)，我的意思是單詞嵌入被傳遞到網(wǎng)絡(luò)，而不是單詞ID。
在深入討論之前，我們應(yīng)該討論一下對(duì)話(huà)數(shù)據(jù)集是什么樣的。下面描述的所有模型都是成對(duì)訓(xùn)練（上下文，回復(fù)）。上下文是在回復(fù)之前的幾個(gè)句子（可能是一個(gè)）。 這個(gè)句子只是它的詞匯表中的一系列標(biāo)記。
為了更好地理解，請(qǐng)查看表格。從兩個(gè)人之間的原始對(duì)話(huà)中提取了三個(gè)樣本：
- 嗨！ - 嗨，你好。 - 你幾歲？ - 二十二。你呢？ - 我也是！哇！
請(qǐng)注意批處理中每個(gè)句子末尾的“ ”（序列結(jié)尾）標(biāo)記。這個(gè)特殊標(biāo)記有助于神經(jīng)網(wǎng)絡(luò)理解句子的邊界并明智地更新其內(nèi)部狀態(tài)。
某些模型可能會(huì)使用來(lái)自數(shù)據(jù)的附加元信息，例如說(shuō)話(huà)者的ID，性別，情感等。
現(xiàn)在，我們準(zhǔn)備繼續(xù)討論生成模型。
我們從最簡(jiǎn)單的會(huì)話(huà)模型開(kāi)始，“ 神經(jīng)對(duì)話(huà)模型”。
為了對(duì)對(duì)話(huà)進(jìn)行建模，本文采用了一個(gè)序列到序列（seq2seq）框架，該框架出現(xiàn)在神經(jīng)機(jī)器翻譯領(lǐng)域，并成功地適應(yīng)了對(duì)話(huà)問(wèn)題。該體系結(jié)構(gòu)由兩個(gè)具有不同參數(shù)集的RNN組成。左邊的一個(gè)（對(duì)應(yīng)于ABC標(biāo)記）稱(chēng)為編碼器， 而右邊的一個(gè)（對(duì)應(yīng)于 -WXYZ標(biāo)記）稱(chēng)為解碼器。
編碼器如何工作的？
編碼器RNN每次構(gòu)造一個(gè)上下文的標(biāo)記序列，并更新它的隱藏狀態(tài)。在處理整個(gè)上下文序列之后，它產(chǎn)生一個(gè)最終隱藏的狀態(tài)，這個(gè)隱藏狀態(tài)結(jié)合了上下文的意義并用于生成答案。
解碼器如何工作？
解碼器的目標(biāo)是從編碼器獲取上下文表示并生成一個(gè)答案。為此目的，在解碼器RNN中維護(hù)詞匯上的softmax層。在每個(gè)時(shí)間步長(zhǎng)中，該層采用解碼器隱藏狀態(tài)并輸出其詞匯表中所有單詞的概率分布。
以下是生成回復(fù)的工作原理：
使用最終編碼器隱藏狀態(tài)（h_0）初始化解碼器隱藏狀態(tài)。
傳遞標(biāo)記作為解碼器的第一個(gè)輸入并更新隱藏狀態(tài)（h_1）
從softmax層（使用h1）采樣（或以最大概率取一個(gè)）第一個(gè)字（w1）。
將此單詞作為輸入傳遞，更新隱藏狀態(tài)（h1 - > h2）并生成新單詞（w_2）。
重復(fù)步驟4，直到生成標(biāo)記或超出最大答案長(zhǎng)度。
解碼器中生成回復(fù)，適用于那些喜歡公式而不是單詞的人。這里，w_t是時(shí)間步長(zhǎng)t上采樣的單詞； θ是解碼器參數(shù)，phi是密集層參數(shù)，g表示密集層，p-hat是時(shí)間步長(zhǎng)t詞匯表的概率分布。
在生成回復(fù)時(shí)使用argmax，當(dāng)使用相同的上下文時(shí)，總是會(huì)得到相同的答案（argmax是確定性的，而采樣是隨機(jī)的）。
我上面描述的過(guò)程只是模型推理部分，但也有模型訓(xùn)練部分，它以稍微不同的方式進(jìn)行工作 - 在每個(gè)解碼步驟，我們使用正確的單詞y_t而不是生成的單詞（w_t）作為輸入。換句話(huà)說(shuō)，在訓(xùn)練時(shí)，解碼器使用正確的回復(fù)序列，但刪除了最后一個(gè)標(biāo)記并且標(biāo)記被預(yù)先添加。
解碼器推斷階段的說(shuō)明。前一時(shí)間步長(zhǎng)的輸出作為當(dāng)前時(shí)間步長(zhǎng)的輸入。
目標(biāo)是在每個(gè)時(shí)間步長(zhǎng)上最大化限度的提高下一個(gè)正確的單詞的概率。更簡(jiǎn)單地說(shuō)，我們要求網(wǎng)絡(luò)通過(guò)為序列提供正確的前綴來(lái)預(yù)測(cè)序列中的下一個(gè)單詞。通過(guò)最大似然訓(xùn)練進(jìn)行訓(xùn)練，這導(dǎo)致經(jīng)典的交叉熵?fù)p失：
這里，y_t是在時(shí)間步驟t的回復(fù)中的正確答案。
現(xiàn)在我們對(duì)序列到序列框架有了基本的了解。我們?nèi)绾螢檫@些模型添加更多泛化能力？有很多方法：
向編碼器或/和解碼器RNN 添加更多層。
使用雙向編碼器。由于解碼器的正向生成結(jié)構(gòu)，使得解碼器無(wú)法實(shí)現(xiàn)雙向傳輸。
試驗(yàn)嵌入。你可以預(yù)先初始化單詞嵌入，也可以與模型一起從頭開(kāi)始學(xué)習(xí)它們。
使用更高級(jí)的回復(fù)生成過(guò)程 - beamsearch。我的想法是不“貪婪地”生成答案（通過(guò)將argmax用于下一個(gè)單詞），但考慮更長(zhǎng)鏈詞的概率并在其中進(jìn)行選擇。
使你的編碼器或/和解碼器卷積的。Convnet可能比RNN更快地工作，因?yàn)樗鼈兛梢杂行У夭⑿谢?/p>
使用注意機(jī)制。注意機(jī)制最初是在神經(jīng)機(jī)器翻譯論文中引入的，并且已經(jīng)成為一種非常流行且強(qiáng)大的技術(shù)。
在每次執(zhí)行步驟時(shí)，將最終編碼器狀態(tài)傳遞給解碼器。解碼器僅查看最終編碼器狀態(tài)一次，然后可能會(huì)忘記它。一個(gè)好的主意是將其與單詞嵌入一起傳遞給解碼器。
不同編碼器/解碼器狀態(tài)大小。我上面描述的模型要求編碼器和解碼器具有相同的隱藏狀態(tài)大小（因?yàn)槲覀冇米罱K編碼器的狀態(tài)初始化解碼器狀態(tài)）。你可以通過(guò)從編碼器最終狀態(tài)向初始解碼器狀態(tài)添加投影（密集）層來(lái)消除此要求。
使用字符而不是單詞或字節(jié)對(duì)編碼來(lái)構(gòu)建詞匯表。字符級(jí)模型是值得考慮的，因?yàn)樗鼈兊脑~匯量較小，并且可以理解詞匯中沒(méi)有的單詞，因此它們的工作速度更快。字節(jié)對(duì)編碼（BPE）是兩全其美的。我們的想法是在序列中找到最常見(jiàn)的指標(biāo)對(duì)，并將它們合并為一個(gè)指標(biāo)。
稍后，我將為你提供流行實(shí)現(xiàn)的鏈接，以便你可以訓(xùn)練自己的對(duì)話(huà)模型。但現(xiàn)在我想告訴你一些你將面對(duì)的生成模型的常見(jiàn)問(wèn)題。
通用回復(fù)
通過(guò)極大似然訓(xùn)練的生成模型傾向于預(yù)測(cè)一般回復(fù)的高概率，例如“好”，“否”，“是”和“我不知道”的廣泛情境。
回復(fù)不一致/如何合并元數(shù)據(jù)
seq2seq模型的第二個(gè)主要問(wèn)題是它們可以為釋義的上下文生成不一致的回復(fù)，但具有相同的意義：
最常被引用的與之相關(guān)的工作是“ 基于角色的神經(jīng)對(duì)話(huà)模型”。作者為每個(gè)話(huà)語(yǔ)使用說(shuō)話(huà)者的ID來(lái)產(chǎn)生答案，這不僅取決于編碼器狀態(tài)，還取決于說(shuō)話(huà)者的嵌入。揚(yáng)聲器嵌入與模型一起從頭開(kāi)始學(xué)習(xí)。
使用這個(gè)想法，你可以使用你擁有的不同元數(shù)據(jù)來(lái)擴(kuò)充你的模型。例如，如果你知道說(shuō)話(huà)的時(shí)態(tài)（過(guò)去/現(xiàn)在/將來(lái)），你可以在推理時(shí)以不同的時(shí)態(tài)生成回復(fù)！你可以調(diào)整回復(fù)者的性格（性別，年齡，情緒）或回復(fù)屬性（時(shí)態(tài)，情緒，問(wèn)題/非問(wèn)題等），同時(shí)你有這些數(shù)據(jù)來(lái)訓(xùn)練模型。
下面是一些不同框架中的seq2seq模型，如果你可以打開(kāi)的話(huà)，可以看一下，都是一些外網(wǎng)的模型數(shù)據(jù)之類(lèi)的。
TensorFlow
另外兩個(gè)實(shí)現(xiàn)，你可能會(huì)覺(jué)得使用PyTorch更舒服（seq2seq用于翻譯，但你可以使用相同的代碼進(jìn)行對(duì)話(huà)）
使用seq2seq進(jìn)行翻譯（你可以使用相同的代碼但是使用對(duì)話(huà)的數(shù)據(jù)）
Keras
論文和指南
注意機(jī)制 - Bahdanau的注意 - Luong的注意 - 使用多頭注意+前饋網(wǎng)絡(luò)機(jī)器翻譯任務(wù)的最新技術(shù)。 - 關(guān)于RNN注意的教程
深入選擇性模型
完成生成模型之后，讓我們了解選擇性神經(jīng)對(duì)話(huà)模型的工作原理（它們通常被稱(chēng)為DSSM，代表深層語(yǔ)義相似性模型）。
選擇模型不是估計(jì)概率p（回復(fù)|上下文; w），而是學(xué)習(xí)相似性函數(shù) - sim（回復(fù)，上下文; w），其中回復(fù)是預(yù)定義的可能答案池中的元素之一（參見(jiàn)下圖）。
直覺(jué)是網(wǎng)絡(luò)將上下文和候選答案作為輸入，并返回它們彼此之間的可信度。
選擇性（或排名或dssm）網(wǎng)絡(luò)由兩個(gè)“塔”組成：第一個(gè)用于上下文，第二個(gè)用于響應(yīng)。每座塔都可能擁有你想要的任何結(jié)構(gòu)。塔取其輸入并將其嵌入語(yǔ)義向量空間（圖中的向量R和C）。然后，計(jì)算上下文和應(yīng)答向量之間的相似性，即使用余弦相似度。
在推理時(shí)，我們可以計(jì)算給定上下文和所有可能答案之間的相似性，并選擇具有最大相似性的答案。
為了訓(xùn)練模型，我們使用三重?fù)p失。Triplet loss在triplets上定義(context, replycorrect, replywrong)，等于:
選擇性模型的三重?fù)p失。它與SVM中的最大邊際損失非常相似。
什么是replywrong？它也被稱(chēng)為“負(fù)面”樣本（replycorrect稱(chēng)為“正面”樣本），在最簡(jiǎn)單的情況下，它是來(lái)自答案池的隨機(jī)回復(fù)。因此，通過(guò)最小化這種損失，我們以絕對(duì)值不提供信息的排序方式學(xué)習(xí)相似性函數(shù)。但請(qǐng)記住，在推理階段，我們只需要比較所有回復(fù)的分?jǐn)?shù)，并選擇一個(gè)得分最高的。
你可能會(huì)問(wèn)，我們?yōu)槭裁匆獜臄?shù)據(jù)集中隨機(jī)抽取樣本？也許使用更復(fù)雜的抽樣方案是個(gè)好主意？確實(shí)如此。如果你仔細(xì)觀察，你可能會(huì)發(fā)現(xiàn)三元組的數(shù)量是O（n3），因此正確選擇負(fù)數(shù)是很重要的，因?yàn)槲覀儫o(wú)法完成所有這些（大數(shù)據(jù)，你知道）。
例如，我們可以從池中抽取K個(gè)隨機(jī)否定回復(fù)，對(duì)其進(jìn)行評(píng)分，并選擇最高得分的那個(gè)作為否定答案。這種方案被稱(chēng)為“硬負(fù)面”開(kāi)采。如果你想深入挖掘，請(qǐng)閱讀“ 深度嵌入學(xué)習(xí)中的采樣事項(xiàng)”一文。
此時(shí)，我們已經(jīng)了解了生成模型和選擇模型的工作原理。但是你選擇哪種類(lèi)型？這完全取決于你的需求。下表是為了幫助你做出決定。
其中一個(gè)最重要的問(wèn)題是如何評(píng)估神經(jīng)對(duì)話(huà)模型。有許多自動(dòng)指標(biāo)用于評(píng)估聊天機(jī)器人與機(jī)器學(xué)習(xí)：
選擇性模型的精確度/召回率/準(zhǔn)確度
生成模型的困惑/損失值
BLEU / METEOR從機(jī)器翻譯得分
但是最近的一些研究)表明，所有這些指標(biāo)都與人類(lèi)對(duì)特定情境的答復(fù)適當(dāng)性的判斷密切相關(guān)。
例如，假設(shè)你有上下文“Statsbot是否破壞了我們處理數(shù)據(jù)的方式”？，然后回答“當(dāng)然是這樣”。但是你的模型會(huì)回答例如“這絕對(duì)是真的?！敝?lèi)的話(huà)來(lái)回答上下文。上面顯示的所有指標(biāo)都會(huì)給出這樣一個(gè)答案的低分，但我們可以看到這個(gè)答案與你的數(shù)據(jù)提供的一樣好。
因此，目前最合適的方法是使用目標(biāo)指標(biāo)對(duì)模型進(jìn)行人工評(píng)估，然后選擇最佳模型。是的，這似乎是一個(gè)昂貴的過(guò)程（你需要使用像Amazon Mechanical Turk這樣的東西來(lái)評(píng)估模型），但是目前我們沒(méi)有更好的東西。無(wú)論如何，研究界都朝這個(gè)方向發(fā)展。
最后，我們準(zhǔn)備創(chuàng)建最強(qiáng)大，最智能的會(huì)話(huà)模型，通用的人工智能，對(duì)吧？如果是這樣的話(huà)，擁有數(shù)千名研究人員的蘋(píng)果，亞馬遜和谷歌等公司已經(jīng)將它們與個(gè)人助理產(chǎn)品一起部署。
盡管在這個(gè)領(lǐng)域做了很多工作，神經(jīng)對(duì)話(huà)系統(tǒng)還沒(méi)有準(zhǔn)備好在開(kāi)放領(lǐng)域與人交談，并為他們提供信息/有趣/有用的答案。但至于封閉領(lǐng)域（例如技術(shù)支持或問(wèn)答系統(tǒng)），有成功的案例。
會(huì)話(huà)模型起初可能看起來(lái)很難掌握（而且不僅僅只有一開(kāi)始）。當(dāng)你準(zhǔn)備練習(xí)時(shí)，選擇一些簡(jiǎn)單的架構(gòu)，從一個(gè)流行的數(shù)據(jù)集或者自己的數(shù)據(jù)集（Twitter，Reddit或其他）中選取一個(gè)，并在上面訓(xùn)練一個(gè)會(huì)話(huà)模型。
聯(lián)系客服
