去年夏天，OpenAI讓Latitude提前接觸到了其技術(shù)的更強(qiáng)大的商業(yè)版本。在營銷材料中，OpenAI將《AI Dungeon》作為編寫算法的商業(yè)和創(chuàng)意潛力的一個例子來吹捧。
上個月，OpenAI表示，它發(fā)現(xiàn)《AI Dungeon》也顯示了人類與AI合作的“黑暗面”。一個新的監(jiān)控系統(tǒng)顯示，一些玩家輸入的詞語導(dǎo)致游戲產(chǎn)生了涉及兒童的性愛故事。OpenAI要求Latitude立即采取行動。OpenAI首席執(zhí)行官Sam Altman在一份聲明中說：“在某些情況下，內(nèi)容審核的決定是困難的，但這一次不是。這不是我們?nèi)魏稳讼胍娜斯ぶ悄艿奈磥??！?/p>
上周，Latitude開啟了一個新的審核系統(tǒng)，并在其用戶中引發(fā)了反感。一些人抱怨它過于敏感，他們不能在不觸發(fā)警告信息的情況下提及一臺“已使用8年的筆記本電腦”。另一些人說，該公司計劃手動審查被標(biāo)記的內(nèi)容，這將不必要地窺探私密的、虛構(gòu)的創(chuàng)作，這些創(chuàng)作是色情的，但只涉及成年人--這是AI Dungeon的流行使用案例。
簡而言之，Latitude試圖將人和算法結(jié)合起來，對由人和算法產(chǎn)生的內(nèi)容進(jìn)行監(jiān)管，結(jié)果變成了一團(tuán)糟。在Twitter和AI Dungeon的官方Reddit和Discord社區(qū)，憤怒的模因和關(guān)于取消訂閱的說法紛至沓來。
“社區(qū)感到被背叛了，Latitude會掃描并手動訪問和閱讀私人虛構(gòu)的文學(xué)內(nèi)容，”一位AI Dungeon的玩家說，他的名字叫Mimi，并聲稱在AI的幫助下，估計總共寫了超過100萬字，包括詩歌、暮光之城的模仿和情色冒險。Mimi和其他不高興的用戶說，他們理解該公司對公開可見的內(nèi)容進(jìn)行監(jiān)管的愿望，但他們說該公司做得太過分了，毀掉了一個強(qiáng)大的創(chuàng)造性游戲場所。Mimi說："它使我能夠探索我心理的某些方面，而我從未意識到這些方面的存在。
Latitude發(fā)言人說，其過濾系統(tǒng)和可接受內(nèi)容的政策都在不斷完善。工作人員以前曾禁止那些他們得知利用AI Dungeon產(chǎn)生以兒童為主角的性內(nèi)容的玩家。但在OpenAI最近的警告之后，該公司正在進(jìn)行 “必要的改變”，該發(fā)言人說。Latitude公司上周在一篇博客文章中承諾，AI Dungeon將 “繼續(xù)支持其他NSFW內(nèi)容，包括雙方同意的成人內(nèi)容、暴力和褻瀆”。
阻止人工智能系統(tǒng)創(chuàng)建某些類型的性或成人內(nèi)容，同時允許其他內(nèi)容，將是困難的。像OpenAI這樣的技術(shù)可以生成許多不同風(fēng)格的文本，因為它是使用機(jī)器學(xué)習(xí)算法構(gòu)建的，這些算法已經(jīng)消化了從網(wǎng)絡(luò)上獲取的數(shù)十億字中的語言使用統(tǒng)計模式，包括不適合未成年人的部分。該軟件能夠進(jìn)行驚人的模仿，但并不像人們那樣理解社會、法律或流派類別。
OpenAI在2019年年底將其文本生成技術(shù)作為開源技術(shù)發(fā)布，但在去年將一個大幅升級的版本，即GPT-3，變成了一項商業(yè)服務(wù)。像Latitude這樣的客戶付費(fèi)輸入文字串，并得到系統(tǒng)對后面應(yīng)該有什么文字的最佳猜測。在被授予早期訪問權(quán)的程序員分享了由該技術(shù)產(chǎn)生的令人印象深刻的流暢笑話、十四行詩和代碼之后，這項服務(wù)引起了科技行業(yè)的注意。
OpenAI表示，這項服務(wù)將賦予企業(yè)和初創(chuàng)企業(yè)權(quán)力，并授予OpenAI的大額支持者微軟對基礎(chǔ)算法的獨(dú)家授權(quán)。WIRED和一些嘗試過該系統(tǒng)的程序員和人工智能研究人員表明，它也可以生成不受歡迎的文本，如反猶太主義的評論和極端主義的宣傳。OpenAI表示，它將仔細(xì)審查客戶以剔除不良行為者，并要求大多數(shù)客戶--但不是Latitude--使用人工智能供應(yīng)商創(chuàng)建的過濾器來阻止褻瀆、仇恨言論或性內(nèi)容。
在風(fēng)口浪尖之外，AI Dungeon為OpenAI的文本生成技術(shù)提供了相對不受約束的機(jī)會。在2019年12月，也就是使用OpenAI技術(shù)的早期開源版本推出游戲的那個月，它贏得了10萬名玩家。一些人很快發(fā)現(xiàn)并開始珍惜它對性內(nèi)容的流暢性。其他人則抱怨人工智能會不由自主地提出性主題。
Latitude聯(lián)合創(chuàng)始人Nick Walton在游戲的官方Reddit社區(qū)上承認(rèn)了這個問題。他說有幾個玩家給他發(fā)了一些例子，讓他們 "感到非常不舒服"，并補(bǔ)充說該公司正在研究過濾技術(shù)。從游戲的最初幾個月開始，玩家們也注意到了，并且在網(wǎng)上發(fā)帖標(biāo)明，游戲有時會把兒童寫進(jìn)性愛場景中。
AI Dungeon的官方Reddit和Discord社區(qū)增加了專門的頻道來討論游戲中產(chǎn)生的成人內(nèi)容。Latitude增加了一個可選的 "安全模式"，可以過濾掉來自人工智能的某些詞匯的建議。然而，像所有自動過濾器一樣，它并不完美。一些玩家注意到，所謂的安全設(shè)置改善了文本生成器的色情寫作，因為它使用了更多的比喻和委婉語。該公司還增加了一個高級訂閱層以創(chuàng)造收入。
2020年7月，當(dāng)AI Dungeon加入OpenAI更強(qiáng)大的商業(yè)寫作算法時，寫作變得更加令人印象深刻。"一位資深玩家說："創(chuàng)造力和講故事的能力的純粹跳躍是天堂般的。這個人說，該系統(tǒng)在探索性愛主題的能力方面也明顯更有創(chuàng)造力。去年有一段時間，玩家注意到Latitude在試驗一個過濾器，它可以自動將出現(xiàn)的 "強(qiáng)奸 "一詞替換為 "尊重"，但這個功能被放棄了。
這位資深玩家是人工智能地牢的愛好者之一，他們將游戲作為人工智能增強(qiáng)的寫作工具來探索成人主題，包括在一個專門的寫作小組中。算法中不需要的建議可以從故事中刪除，以引導(dǎo)它向不同的方向發(fā)展；結(jié)果不會公開發(fā)布，除非有人選擇分享它們。
Latitude公司拒絕分享關(guān)于有多少冒險包含性內(nèi)容的數(shù)字。OpenAI的網(wǎng)站說，AI Dungeon每天吸引了超過2萬名玩家。
一名AI Dungeon玩家上周發(fā)布了一個安全漏洞，該漏洞使游戲中產(chǎn)生的每一個故事都可以被公開訪問，他說他在4月份的四天里下載了幾十萬個創(chuàng)建的冒險內(nèi)容。他分析了其中18.8萬個樣本，發(fā)現(xiàn)31%的樣本含有暗示它們是性愛的文字。這一分析和安全漏洞（現(xiàn)已修復(fù)）增加了一些玩家對Latitude公司新的內(nèi)容管理方法的憤怒。
Latitude現(xiàn)在面臨的挑戰(zhàn)是如何贏回用戶的信任，同時滿足OpenAI對其文本生成器進(jìn)行更嚴(yán)格控制的要求。OpenAI的一位發(fā)言人說，這家初創(chuàng)公司現(xiàn)在必須使用OpenAI的過濾技術(shù)。
如何負(fù)責(zé)任地部署攝取了大量互聯(lián)網(wǎng)文本的人工智能系統(tǒng)，包括一些不光彩的部分，已經(jīng)成為人工智能研究中的一個熱門話題。在經(jīng)理們反對一篇主張謹(jǐn)慎使用此類技術(shù)的論文后，兩位知名的谷歌研究人員被迫離開了公司。
該技術(shù)可以在非常有限的情況下使用，例如在谷歌搜索中，它可以幫助解析長篇查詢的含義。OpenAI幫助AI Dungeon推出了一個令人印象深刻但又充滿問題的應(yīng)用程序，讓人們提示該技術(shù)或多或少地解開它所能做的事情。
華盛頓大學(xué)的研究人員Suchin Gururangan說：“真的很難知道這些模型會有什么表現(xiàn)。”他與華盛頓大學(xué)和艾倫人工智能研究所的研究人員一起參與了一項研究和互動式在線演示，顯示當(dāng)從網(wǎng)絡(luò)上借來的文本被用來提示五種不同的語言生成模型時，包括來自O(shè)penAI的模型，都能夠噴出有毒文本。
Gururangan現(xiàn)在是許多試圖找出如何對人工智能語言系統(tǒng)進(jìn)行更多控制的研究人員之一，包括對他們學(xué)習(xí)的內(nèi)容更加謹(jǐn)慎。OpenAI和Latitude表示，他們也在研究這個問題，同時也試圖從該技術(shù)中賺錢。
