2022年底OpenAI推出ChatGPT，其爆火程度一直持續(xù)到今天，這個模型簡直就是行走的流量，所到之處必將引起一番討論狂潮。

各大科技公司、機(jī)構(gòu)、甚至是個人，紛紛加緊研發(fā)類ChatGPT產(chǎn)品。與此同時，微軟將ChatGPT接入必應(yīng)，幾乎前后腳，谷歌發(fā)布Bard為搜索引擎提供動力。英偉達(dá) CEO 黃仁勛對ChatGPT給與了一個很高的評價，他表示，ChatGPT 是人工智能領(lǐng)域的 iPhone 時刻，也是計算領(lǐng)域有史以來最偉大的技術(shù)之一。

很多人對對話式AI已經(jīng)到來深信不疑，但這類模型真的完美無缺嗎？不見得，在它們身上總會出現(xiàn)一些荒誕的時刻（uncanny moments），例如隨意發(fā)表不受約束的言論，或者喋喋不休地說出接管世界的計劃等。

為了理解對話式AI這些荒誕時刻，由深度學(xué)習(xí)三巨頭之一的Yann LeCun以及紐約大學(xué)計算機(jī)科學(xué)系博士后Jacob Browning等人聯(lián)合撰寫了一篇文章《AI Chatbots Don’t Care About Your Social Norms》，文中討論了對話式AI的三個方面：聊天機(jī)器人、社會規(guī)范和人類期望。

文中談到，人類非常善于避免口誤，不讓自己做出失誤和失禮的言行。相比之下，聊天機(jī)器人卻經(jīng)常犯錯。因此理解為什么人類擅長避免出錯，可以更好的幫助我們理解目前聊天機(jī)器人為何不能被信任。

聊天機(jī)器人加入人類反饋，不讓模型說錯話

對于GPT-3來說，犯錯的方式包括模型統(tǒng)計不準(zhǔn)確。GPT-3比較依賴用戶提示，它對語境、情境等的理解只關(guān)注從用戶的提示中可以得到什么。ChatGPT也是如此，不過后者以一種新穎而有趣的方式稍作修改。除了統(tǒng)計學(xué)外，模型的反應(yīng)也被人類評估員強(qiáng)化了。對于系統(tǒng)的輸出，人類評估員會進(jìn)行強(qiáng)化，使其輸出好的反應(yīng)。最終結(jié)果是，這個系統(tǒng)不僅會說一些貌似合理的東西，而且（理想情況下）還會說一些人類會判斷為合適的東西——即便是模型說錯了話，至少不會冒犯別人。

但這種方法給人的感覺太機(jī)械性。在人類對話中，有無數(shù)種方法可以說錯話：我們可以說一些不恰當(dāng)?shù)?、不誠實的、令人困惑的或者只是愚蠢的事情。我們甚至在說正確的事情時，由于說的語氣或語調(diào)不對而受到指責(zé)。我們在與他人打交道的過程中，會穿越無數(shù)的「對話雷區(qū)」。控制自己不說錯話不僅僅是對話的一個重要部分，它往往比對話本身更重要。有時，閉上嘴巴可能是唯一正確的行動方案。

這就引出兩個問題：我們該如何駕馭模型這種不說錯話的危險局面？以及為什么聊天機(jī)器人不能有效地控制自己不說錯話？

對話該如何進(jìn)行？

人類對話可以涉及任意話題，就像腳本化了一樣：餐館點餐，閑聊，為遲到道歉等等。不過這些不是文字腳本，中間充滿了即興創(chuàng)作，所以人類的這種對話模型才是更一般的模式，規(guī)則沒有那么嚴(yán)格。

人類這種腳本化的言行不受文字制約。即使你不懂語言，同樣的腳本也能發(fā)揮作用，比如打一個手勢就知道對方想要什么。社會規(guī)范支配著這些腳本，幫助我們駕馭生活。這些規(guī)范規(guī)定了每個人在某些情況下的行為方式，為每個人分配了角色，并對如何行動給予了廣泛的指導(dǎo)。遵循規(guī)范是有用的：它通過標(biāo)準(zhǔn)化和流程化來簡化我們的交互，使彼此能更容易預(yù)測對方意圖。

人類已經(jīng)制定了慣例和規(guī)范來管理我們社會生活的每個方面，從使用什么叉子到在按喇叭之前應(yīng)該等待多長時間。這對于在數(shù)十億人的世界中生存至關(guān)重要，在這個世界上，我們遇到的大多數(shù)人都是完全陌生的人，他們的信仰可能與我們不一致。將這些共同的規(guī)范落實到位不僅可以使對話成為可能，而且會富有成果，列出我們應(yīng)該談?wù)摰膬?nèi)容——以及我們不應(yīng)該談?wù)摰乃惺虑椤?/span>

規(guī)范的另一面

人類傾向于制裁那些違反規(guī)范的人，有時會公開，有時會秘密進(jìn)行。社會規(guī)范使得評估一個陌生人變得非常簡單，例如，在第一次約會時，通過對話以及提問等方式，雙方會評估對方的行為，如果對方違反了其中一條規(guī)范——例如，如果他們表現(xiàn)得粗魯或不恰當(dāng)——我們通常會評判他們并拒絕第二次約會。

對人類來說，這些評判不僅是基于冷靜的分析，更進(jìn)一步的是基于我們對世界的情感反應(yīng)。我們小時候接受的部分教育是情緒訓(xùn)練，以確保我們在對話中在正確的時間給出正確的情緒：當(dāng)有人違反禮儀規(guī)范時感到憤怒，當(dāng)有人說出冒犯性的話時感到厭惡，當(dāng)我們說謊時感到羞恥。我們的道德良知使我們能夠在對話中對任何不恰當(dāng)?shù)氖虑樽龀隹焖俜磻?yīng)，并預(yù)測其他人將如何對我們的言論做出反應(yīng)。

但不僅如此，一個違反了簡單規(guī)范的人，他的整個性格都會遭到質(zhì)疑。如果他在一件事情上撒了謊，那么會不會在其他事情上撒謊呢？因此，公開是為了讓對方感到羞恥，并在此過程中迫使對方為自己的行為道歉（或至少為自身行為辯護(hù)）。規(guī)范也得到了加強(qiáng)。

簡而言之，人類應(yīng)該嚴(yán)格遵守社會規(guī)范，否則說出的話有很高的風(fēng)險。我們要為自己所說的任何事情負(fù)責(zé)，所以要謹(jǐn)慎地選擇說話，并希望周圍的人也是如此。

不受約束的聊天機(jī)器人

人類對話的高風(fēng)險揭示了什么讓聊天機(jī)器人如此令人不安。通過僅僅預(yù)測對話如何進(jìn)行，它們最終松散地遵守人類的規(guī)范，但它們不受這些規(guī)范的約束。當(dāng)我們與聊天機(jī)器人隨意交談或測試它們解決語言難題的能力時，它們通常會給出一些似是而非的答案，并表現(xiàn)得像人類一樣正常。有人甚至可能會將聊天機(jī)器人誤認(rèn)為是人。

但是，如果我們稍微更改prompt或者使用不同的腳本，聊天機(jī)器人會突然吐出陰謀論、種族主義長篇大論或胡說八道。這可能是因為它們接受了陰謀論者、噴子等在 Reddit和其他平臺寫的內(nèi)容的訓(xùn)練。

我們中的任何人都有可能說出像噴子一樣的話，但我們不應(yīng)該說，因為噴子的話充斥著胡說八道、冒犯性言論、殘忍和不誠實。我們中的大多數(shù)人不說這些話，也是因為自己不相信它們。體面的規(guī)范已經(jīng)將冒犯性行為推向了社會邊緣，所以我們中的大多數(shù)人也不敢這樣的話。

相比之下，聊天機(jī)器人不會意識到有些話是它們不應(yīng)該說的，無論這些話在統(tǒng)計學(xué)上的可能性有多大。它們意識不到定義了該說和不該說之間界限的社會規(guī)范，也察覺不到影響我們使用語言的深層社會壓力。即使聊天機(jī)器人承認(rèn)搞砸并道歉了，它們也不明白為什么。如果我們指出它們錯了，聊天機(jī)器人甚至?xí)狼敢缘玫秸_的答案。

這闡明了更深層次的問題：我們希望人類說話者能夠忠實于他們所說的話，并且要求他們對此負(fù)責(zé)。我們不需要檢查他們的大腦或了解任何心理學(xué)來做到這一點，只需要知道他們一貫可靠、遵守規(guī)范和行為上尊重他人，則會相信他們。聊天機(jī)器人的問題不在于「黑盒子」或技術(shù)不熟悉，而是因為長期以來不可靠和令人反感，并且沒有努力改進(jìn)甚至沒有意識到存在問題。

開發(fā)人員當(dāng)然知道這些問題。他們以及希望自身AI技術(shù)被廣泛應(yīng)用的公司擔(dān)心自己的聊天機(jī)器人的聲譽(yù)，并花大量時間重組系統(tǒng)以避免對話困難或消除不當(dāng)回答。雖然這有助于使聊天機(jī)器人更安全，但開發(fā)人員需要竭力走到試圖破壞它們的人的前面。因此，開發(fā)人員的方法是被動的，并且總是落后：有太多的錯誤方式無法預(yù)測到。

聰明但不人性化

這不應(yīng)該讓我們自鳴得意人類有多聰明，聊天機(jī)器人有多笨。相反，它們無所不談的能力展現(xiàn)出了對人類社會生活和整個世界的深刻（或膚淺）的了解。聊天機(jī)器人非常聰明，至少能在測試中取得好成績或提供有用的信息參考。聊天機(jī)器人在教育工作者中引起的恐慌足以說明它們在書本知識學(xué)習(xí)上令人印象深刻。

但問題在于聊天機(jī)器人不在乎（care）。它們沒有任何想要通過對話實現(xiàn)的內(nèi)在目標(biāo)，也不受他人想法或反應(yīng)的激勵。它們不會因說謊感到難過，它們的誠實也不會得到回報。它們在某種程度是無恥的，甚至川普都非常關(guān)心自己的聲譽(yù)，至少聲稱自己是誠實的。

因此，聊天機(jī)器人的對話是無意義的。對于人類來說，對話是獲得我們想要的東西的一種方式，比如建立聯(lián)系、在項目上獲得幫助、打發(fā)時間或者了解一些東西。對話要求我們對對話的人感興趣，理想情況下應(yīng)該要關(guān)心對方。

即使我們不關(guān)心對話的人，至少在乎對方對自己的看法。我們深深地認(rèn)識到，生活中的成功（比如擁有親密關(guān)系、做好工作等）取決于擁有好的聲譽(yù)。如果我們的社會地位下降，就可能失去一切。對話塑造了他人對我們的看法，并且很多人通過內(nèi)心獨白來塑造對自己的認(rèn)知。

但是聊天機(jī)器人沒有自己的故事可以講述，也沒有聲譽(yù)可以捍衛(wèi)，它們不像我們一樣能感受到負(fù)責(zé)任行動的吸引力。聊天機(jī)器人可以并且在很多高度腳本化的情況下發(fā)揮作用，從玩地下城主、撰寫合理的副本或者幫助作者探索思路，等等。不過它們?nèi)狈ψ约夯蛩说牧私?，無法成為值得信賴的社會代理人，即我們大多數(shù)時候希望與之交談的那類人。

如果不了解有關(guān)誠實和體面的規(guī)范，也不關(guān)心自己的聲譽(yù)，那么聊天機(jī)器人的用處就會受限，依賴它們也會帶來真正的危險。

怪誕的對話

因此，聊天機(jī)器人并不是以人類的方式對話，并且它們永遠(yuǎn)不可能僅通過統(tǒng)計學(xué)上似乎可信的談話達(dá)到目的。如果缺少對社會世界的真正了解，這些AI系統(tǒng)就只是無聊的話癆罷了，無論表現(xiàn)得多么機(jī)智或雄辯。

這有助于闡明為什么這些AI系統(tǒng)只是非常有趣的工具以及為什么人類不應(yīng)該將它們擬人化。人類不僅僅是冷靜的思考者或演說者，在本質(zhì)上還是遵守規(guī)范的生物，通過共同的、強(qiáng)制性的期望在情感上相互建立聯(lián)系。人類的思維和言語源于自身的社會性。

單純的對話脫離了廣泛的世界參與，與人類沒有什么共同之處。聊天機(jī)器人不是像我們一樣使用語言，即使它們有時說的與我們完全相同?？蓺w根到底，它們不懂我們?yōu)槭裁催@樣說話，這是顯而易見的。

原文鏈接：

https://www.noemamag.com/ai-chatbots-dont-care-about-your-social-norms/