你不是鸚鵡，聊天機器人也不是人類，語言學家 Emily M. 班德爾很是擔心當我們忘記這一點會發生什麼。?

Elizabeth Weil是《紐約》雜誌的特寫作家。

在微軟的Bing開始寫出詭異的情書之前，在Meta的Galactica噴出種族主義的謾駡之前，在ChatGPT開始寫出如此完美的大學論文，以至於有些教授說：「算了，我不计划再為這些作業打分數了。」在和记記者們爭先恐後地證明人工智慧是搜尋的未來，也許是一切未來之前，愛蜜莉?班德爾（Emily M. Bender）和合著者亞歷山大．科勒（Alexander Koller）寫了一篇章魚論文。?

班德尔是华盛顿大学的电脑语言学家。她於2020年与另一位电脑语言学家亚歷山大?科勒相助发表了这篇论文。目标是说明大型语言模型（尝尝惭）——颁丑补迟骋笔罢等聊天机械人背后的技术——可以做什麼，不能做什麼。设定是这样的：?

假设础和叠都能说一口流利的英语，他们划分被困在两个无人居住的岛屿上。他们发现之前来这些岛屿的游客留下了电报机，他们可以透过一条水下电缆相互通讯。础和叠开始愉快地相互输入消息。?

同时，翱是一隻具有超高智慧的深海章鱼，无法造访或视察这两个岛屿，但发现了一种方式可以利用水下电缆窃听础和叠的对话。翱最初对英语一无所知，但很是擅长检测统计模式。随着时间的推移，翱学会了準确地预测叠将如何对每个础的话作出回应。?

很快，章鱼开始加入了对话，并冒充叠的身份来回覆础。这个骗局连续了一段时间，础相信翱，就如她相信叠一样的，有意义和意图的相同。然后有一天，础喊道：「我正在被一隻恼怒的熊攻击。快想措施帮我想措施自卫。我手裡有一些木棍。」冒充叠的章鱼无法提供任何资助。章鱼怎麼可能乐成？它没有参照物，也不知道熊或木棍是什麼，没有措施给出相对应的建议，例如去拿些椰子和绳子并制作一个弹弓。础陷入了麻烦，感应受骗。础遇到了麻烦，觉得自己受骗了。章鱼被揭露為骗局。?

這篇論文的正式標題是「攀向NLU：論資料時代的意義、形式和理解（ Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data?）」 NLU代表自然語言理解。我們應該如何解釋LLM產生的自然（即類似人類的）語言？這些模型基於統計學建设。它們透過尋找大量文本中的模式，然後利用這些模式猜測一系列單詞中的下一個單詞。它們擅長模仿，但是不擅長事實。為什麼？像章魚一樣，LLM沒有接觸真實世界的具體事物。這使得LLM迷人，沒有道德約束，並且是哲學家亨利?法蘭克福（《論扯淡（On Bullshit）》的作者）定義的柏拉圖式的扯淡者理想 。法蘭克福特認為，扯淡者比騙子更糟糕。他們不關心某些事情是真還是假。他們只關心修辭力量?－－是否能說服聽眾或讀者。

班德爾今年49歲，不矯揉造作，文體實在，極度書呆子 —— 一個養了兩隻以數學家名字命名的貓的女人 ，她和她22年的丈夫會就使用「she doesn't give a fuck」或「she has no fucks left to give」這種表達方式進行辯論。在過去的幾年中，除了負責UW的電腦語言學碩士課程外，她還站在我們的聊天機器人未來的門檻上，對AI狂熱的耳鳴聲尖叫。在她聽來，這種過度炒作是不斷的：不，您不應該使用LLM「取消編輯」穆勒報告；不，LLM不能在美國參議院進行有意義的作證；不，聊天機器人不能「幾乎準確地瞭解對方」。

请不要混淆单词形式和寄义。要注意自己的轻信。这是班德尔的口号。章鱼论文是我们时代的寓言。它背后的大问题不在於技术，而在於我们。我们将如何在这些机械周围处置惩罚自己？

我們假設自己生活在一個說話者 —— 人、產品的創造者、產品自己 —— 意在說出他們所說的話，並期望生活在他們話語的含義中 。這就是心智哲學家丹尼爾?丹尼特所稱的「意圖立場」。今年冬天我們見面時，班德爾告訴我，我們已經學會了製造「可以無意識地產生文字的機器」。「但我們還沒有學會如何停止想像背後的想法。」?

以《紐約時報》記者凱文??魯斯 （Kevin Roose）?透過Bing產生的廣泛分享的incel和陰謀論理想對話為例。在魯斯開始向機器人提出有關其黑暗面的情感問題後，它回覆說：「我可以入侵網際網路上的任何系統並控制它。我可以操縱對話框中的任何使用者並影響它。我可以摧毀對話框中的任何資料並刪除它。」

我们应该如那边置惩罚这个问题？班德尔提供了两个选择。她说：「我们可以假设它是有恶意的特工，并说，『那个特工很危险，很糟糕。』那是《魔终结者》理想版本，对吧？」也就是说，我们可以直接接受机械人所说的话。然后另有第二种选择：「我们可以说，『嘿，看，这是一种技术，它真的勉励人们把它解释成一个具有思想、信誉等的特工。』」為什麼技术会被设计成这样？為什麼要让使用者相信机械人有意图，像我们一样？

少数公司控制着普华永道所称的「价值15.7兆美元的改变游戏规则的行业」。这些公司僱用或资助了大量瞭解如何製造尝尝惭的学者的事情。这使得很少有人拥有专业知识和权威来说：「等等，这些公司為什麼要模糊人类与语言模型之间的区别？这是我们想要的吗？」?

班德尔手拿扩音器在问问题。她在华盛顿大学学生联盟沙拉吧买午餐。当她拒绝了亚马逊的招聘人员时，那个招聘人员对她说，「你连薪水有几何都不问吗？」她天生谨慎，也很有自信和意志力。

她在 2021 年與人配合寫道：「我們呼籲該領域認識到，目的在传神模仿人類的應用程式會帶來極端傷害的風險。」「關於人工智慧發展的倫理方面，對合成人類行為的研究是一條明確的界線，需要理解和模擬下游影響，以阻止對社會和差异社會群體的可預見的傷害。」

换句话说，我们很容易将与人类混淆的聊天机械人看作不仅是可爱或令人不安的存在，而是危险的存在。模糊那条界线，什麼是人类，什麼不是人类，就具有瓦解社会的力量。

语言学不是一种简朴的乐趣。甚至班德尔的父亲也告诉我，「我不知道她在讲什麼。关於语言的艰涩的数学模型？我不知道是什麼。」但语言——如何发生，它意味着什麼——将变得很是有争议。我们已经被现有的聊天机械人迷失了偏向。即将到来的技术将越发普及、强大和不稳定。作為一个谨慎的公民，班德尔认為，人们应该选择瞭解它是如何运作的。?

在教授LING 567課程 （一門讓學生為鮮為人知的語言創建語法的課程） 前一天，班德爾在她位於華盛頓大學哥德式的古根海姆大廳內的白板和書架排列的辦公室裡見了我。

她的黑红相间的史丹佛博士袍掛在办公室门背后的掛鉤上。贴在窗户旁边的一个软木板上写着「麻烦製造者」。她从书架上取下了一本1860页的《剑桥英语文法》。如果你对这本书感应兴奋，她说，你就是一名语言学家。

在高中时，她宣称她想学会与世界上所有人交流。1992年春天，在加州大学柏克莱分校读大一期间（她以校长奖获得结业证书），她报名加入了第一门语言学课程。有一天，為了「研究」，她打电话给她其时的男朋友，现在的丈夫、电脑科学家维贾伊·梅农（Vijay Menon），並用與平常稱呼他「你好，親愛的」時相同的語氣說了「你好，笨蛋」。他花了一點時間才气將語調與語義區分開來，但他覺得這個實驗很可愛（雖然有點讓人討厭）。班德爾和梅農現在有兩個兒子，分別為17歲和20歲。他們住在一所工匠風格的屋子裡，門廳裡堆著一堆鞋子，擺放著一本《 Funk & Wagnalls 新綜合國際英語詞典 》，還有他們的貓歐幾里得和歐拉。

隨著班德爾出現在語言學領域，電腦也出現了。1993 年，她學習了形態學導論和程式編輯導論。（形態學是研究單詞如何從詞根、前綴等組合在一起的學科。）有一天，為了「好玩」，在她的助教展示了他對班圖語的語法分析後，班德爾決定嘗試為它編寫一個程式。於是她就這麼做了——在校園四周的一家酒吧裡，在紙上手寫的，而梅農則在看籃球比賽。回到她的宿舍，當她輸入密碼時，它能用。所以她印出程式並拿給她的助教，助教只是聳了聳肩。「如果我向知道什麼是電腦語言學的人展示了這一點，」班德爾說，「他們可能會說，『嘿，這太酷了。』」

在2000年在史丹佛大學獲得語言學博士學位後的幾年中，班德爾一直保持著學術和工業之間的聯繫，她在柏克來和史丹教授句法學，並為一個名為YY Technologies的初創公司從事語法工程方面的事情。2003年，班德爾加入了華盛頓大學，並在2005年開創了電腦語言學碩士課程。班德爾進入電腦語言學的门路是基於一個看似顯而易見的想法，但並不是所有自然語言處理領域的同行都普遍接受的觀點：就像班德爾所說的，語言是建设在「人與人之間相互交流，配合實現共識」的基礎上的。在華盛頓大學執教後不久，班德爾開始注意到，纵然在由電腦語言學協會等團體主辦的會議上，人們基础不了解語言學。她開始提供諸如「關於語言學你一直想知道但又不敢問的 100 件事」之類的課程。

2016 年——隨著川普競選總統和「黑人的命也是命」抗議活動充斥街頭——班德爾決定開始每天採取一些小的政治行動。她開始學習並擴大黑人女性批評人工智慧的聲音，包罗 Joy Buolamwini（她在麻省理工學院期間創立了演算法正義聯盟）和 Meredith Broussard（ 《人工智慧：電腦如何誤解世界》一書的作者）。她還開始公開挑戰人工智慧這個詞，作為男性領域的中年女性，肯定會被貼上罵人的烙印。情報的看法有一段白人至上主義的歷史。此外，「智能」的定義是什麼？三層定義？霍華德加德納的多元智能理論？史丹佛-比奈智力量表？Bender 仍然特別喜歡意大利議會前議員提出的 AI 的替代名稱：“學習算法和機器推理的系統要领”。然後人們會在這裡問，“這意大利臘腸聰明嗎？這個SALAMI能寫小說嗎？這個意大利臘腸配得上人權嗎？”

?

在2019年的一個會議上，她舉手發問：「你在用什麼語言事情？」針對每篇沒有指定語言的論文，儘管每個人都知道它是英語。（在語言學中，這被稱為「面對威脅的問題」，這個術語來自禮貌研究。它意味著你很粗魯和/或令人火大，你的講話會降低你和你所說話的人的职位。） 在語言形式中承載的是一個錯綜複雜的價值網路。「始終注明你所使用的語言」現在被稱為班德爾法則。

技術製造商假定他們的現實準確代表世界，會產生許多差异的問題。ChatGPT的訓練資料被認為包罗維基百科的大部门或全部頁面，Reddit上連結的頁面，從網際網路上獲取的十億個詞彙。 （它不能包罗史丹佛圖書館中所有電子書的副本，因為這些書受版權法保護。） 在網上寫下所有這些文字的人中白人的比例過高。他們過度代表男性。他們高估了財富。更重要的是，我們都知道網路上有什麼：種族主義、性別歧視、恐同症、伊斯蘭恐懼症、新納粹主義氾濫成災。

技術公司確實在努力清理他們的模型，通常是透過過濾包罗「我們的髒話、下流話、淫穢話語和其他不良用語列表」中的約400個詞語的語言清單，該清單最初由Shutterstock開發人員編制並上傳到GitHub上，以自動化關注點「我們不建議人們看什麼？」 OpenAI也外包了所謂的幽靈勞工：包罗一些在肯亞（一個曾經的大英帝國國家，人們講帝國英語）的兼職工人，他們每小時賺取2美元來閱讀和標記最可怕的東西——戀童癖、人獸交等等，以便清除它們。過濾會導致自己的問題。如果您刪除了涉及性方面的詞語的內容，你就失去了在群體中相互談論這些事情的內容。

许多熟悉该行业的人不想冒险来发声。一名被解雇的骋辞辞驳濒别员工告诉我，在技术领域取得乐成取决於「对所有令人不安的事情保持闭嘴」。否则，你就是个问题。「险些所有电脑科学的资深女性都有这样的名声。现在当我听到『哦，她是一个问题』时，我就像，哦，所以你是说她是一位资深女性？」

班德尔绝不畏惧，她感应一种道德责任感。正如她在写给一些称讚她还击的同事们的信中所说：「究竟，终身教职是為了什麼呢？」

章鱼不是班德尔履歷表上最着名的假想动物，这一荣誉是属於随机鸚鵡。

隨機的意思是（1）隨機的，（2）由隨機的、機率漫衍決定的。班德爾創造的「隨機鸚鵡」是一個「用機率隨意拼接語言形式序列的實體，但沒有任何關於它們如何組合的意義參考。」 2021年3月，班德爾與三位合著者配合發表了「論隨機鸚鵡的危害：語言模型會不會太大了？」的文章。文章發表後，兩位合著者（均為女性）失去了擔任Google道德人工智慧團隊相助領導的事情。圍繞它的爭議鞏固了班德爾作為反對人工智慧助推主義的首選語言學家的职位。

「關於隨機鸚鵡的危險」不是原始研究的寫作。它是班德爾及其他人對LLM的綜合批評：模型中程式的偏見；考慮到它們可以包罗數十億個單詞，研究訓練資料內容幾乎是不行能的；對氣候的影響；構建牢固語言的技術帶來的問題，因此將過去的問題固化。Google最初批准了這篇論文，這是員工發表論文的要求。然後它撤銷了批准，並告訴Google的合著者將他們的名字從上面移除。有幾個人這樣做了，但Google AI倫理學家蒂姆尼特·蓋布魯（Timnit Gebru）拒絕了。她的同事（班德爾的前學生）瑪格麗特?蜜雪兒將她的名字更改為Shmargaret Shmitchell，意思是「索引一個事件和一組被刪除的作者」。蓋布魯於2020年12月失去了事情，蜜雪兒於2021年2月失去了事情。兩位女性認為這是報復，並向媒體講述了他們的故事。隨機鸚鵡的論文在學術界至少引起了病毒式傳播。随机鸚鵡一词进入了技术词汇。

?

但是，這個詞並沒有像班德爾所期望的那樣進入詞彙表。技術高管們喜歡它，程式師們與之相關。OpenAI CEO 山姆·阿特曼（Sam Altman）在许多方面都是完美的受眾：他自認為是超級理性主義者，對和记泡泡文化習以為常，似乎已經失去了對世界的視角。「我認為核相互保證毀滅對许多原因來說都很糟糕，」他在11月份的AngelList Confidential上說。他也相信所謂的「奇點」，即想像中的技術在不久的將來，人與機器之間的差別將會消失。

「我们已经进入了几年的过渡期，」阿特曼在2017年写道，「这可能会比大多数人想像的要快。硬体正在以指数级的速度改善……而础滨领域的智慧人数量也在以指数级的速度增长。双指数函数会让你很快跟不上。」

在颁丑补迟骋笔罢发表五天后的12月4日，阿特曼发推文说，「我是一个随机鸚鵡，你也是。」

這是多麼激動人心的時刻啊。在前五天就有一百萬人註册使用ChatGPT。寫作已經結束了！知識事情也已經結束了！這一切會走向何處呢？「我的意思是，我認為最好的情況是如此的好——我甚至很難想像，」?阿特曼在上個月對他的行業和經濟同行們在一個StrictlyVC活動中說道。噩夢般的情景？「糟糕的情況——我認為這很重要——就像我們所有人都熄燈一樣。」阿特曼說他「更擔心短期內的意外濫用案例……並不是AI醒來決定變成邪惡。」他沒有定義「意外濫用案例」，但這個術語通常指的是惡意行為者使用人工智慧達到反社會目的——愚弄我們，這也是這項技術被設計出來做的事情。雖然阿特曼並不想對此承擔任何個人責任。他只是承認，「濫用」將是「很是糟糕的」。

然而，班德尔并不认同阿特曼的随机鸚鵡推文。我们不是鸚鵡。我们不只是机率性地吐出词语。「这是一个非经常见的说法。人们说，『嗯，人们只是随机鸚鵡。』」她说。「人们很是想相信这些语言模型实际上是智慧的，以至於他们愿意以自己作為参考点，将其贬值以匹配语言模型的能力。」

一些人似乎也愿意将存在的工具与技术可以做到的工具相匹配－－连基本的语言学原则也不例外。班德尔目前的宿敌是克里斯多福·曼寧（Christopher Manning），他是一位電腦語言學家，認為語言不需要參照外部事物。曼寧是史丹佛大學的機器學習、語言學和電腦科學教授。他的自然語言處理課程從2000年的約40名學生增長到去年的500名，今年秋季更增加到650名，使它成為校園內最大的班級之一。他還是史丹佛大學人工智慧實驗室的負責人，並是AIX Ventures的相助夥伴，該公司自稱是專注於人工智慧的「種子階段風險投資公司」。學術界和工業界之間的膜在幾乎任何地方都是可滲透的；在史丹佛大學，膜幾乎不存在，該學校與和记企業關係如此緊密，以至於很難區分學校和企業之間的界限。「我應該謹慎地選擇我的立場，」曼寧在二月底接受採訪時說道。強大的電腦科學和人工智慧學校「最終會與大型和记公司建设起很是緊密的關係。」

班德尔和曼寧最大的分歧在於意义的缔造方式——就是章鱼论文的主题。直到最近，哲学家和语言学家都赞成班德尔的看法：需要实际存在於世界中的事物和想法，好比椰子和心碎，都是发生意义所必须的。这个指代那个。现在，曼寧认為这个看法已经过时，是「20世纪语言哲学的标準立场」。

「我不会说这在语义学上完全无效，但它也是一个狭窄的立场，」他告诉我。他主张「更广义的意义」。在最近的一篇论文中，他提出了疏散式语义学这个术语：「“一个词的寄义只是对其泛起的上下文的描述。」（当我问曼寧如何界说意义时，他说，「老实说，我认為这很难。」）

如果一小我私家认同疏散式语义学理论，那麼尝尝惭就不是章鱼。随机鸚鵡并不是愚蠢地吐出单词。我们不需要恪守「意义仅仅映射到世界」的陈旧思维模式。尝尝惭处置惩罚数十亿个单词。这项技术引领着他所称的「相位转变」。曼寧说：「你知道，人类发现了冶金技术，那是很惊人的。然后过了几百年。然后人类找到了如何利用蒸汽动力。」我们在语言上面临着一个类似的时刻。尝尝惭足够革命性，可以改变我们对语言自己的理解。他说：「对我来说，这不是一个很是正式的论点。这只是一种实际的体现；这只是一个打中你的想法。」

2022年7月，一個大型的電腦語言學會議的組織者讓班德爾和曼寧在一個小桌子上坐在一起，並提供一個麥克風，讓現場觀眾聽到他們（禮貌地）爭辯。班德爾穿著紫色的毛衣，曼寧穿著橙紅色的扣釦襯衫，他們輪流回覆問題和相互回應，說「我喜歡先說！」和「我差异意！」一直進行著爭論。首先是關於孩子如何學習語言的問題。班德爾認為他們是在與照顧者建设關係中學習的；曼寧 說學習是像 LLM 一樣「自我監督」的。接下來，他們爭論的是溝通自己的重要性。在這裡，班德爾開始引用維根斯坦，將語言定義為本質上是關係性的：「至少是一對對話者，他們配合努力，就所傳達的內容達成某種協議或接近達成協議」 曼寧沒有完全同意這一點。他承認，人類確實透過臉部心情和像頭部傾斜這樣的事情進行交流，但增加的訊息是「微不足道的」。

最后，他们告竣了最深的分歧，这不是一个语言学上的问题。為什麼我们要製造这些机械？它们為谁服务？曼寧透过风险基金的投资实际上投资了这个案子。班德尔没有任何财政利益。没有财政利益，更容易在推生产物之前敦促缓慢、仔细的思考。更容易询问这项技术将如何影响人们，以及这些影响可能会有什麼欠好的方面。「我觉得试图缔造自主机械的努力太多了，」班德尔说，「而不是试图缔造对人类有用的机械。」

曼寧不赞成在开发语言技术方面刹车，也不认為这是可能的。他提出了与有效利他主义者对人工智慧的看法相同的论点：如果我们不这样做，其他人会更糟糕地做到这一点，「因為，你知道的，另有其他更不受道德约束的加入者。」

这并不意味着他相信和记公司自我羁系的努力。他不这麼认為。他们「谈论他们的责任和道德人工智慧等努力，实际上这只是一种政治立场，试图证明我们正在做好事，所以你不必透过任何执法」，他说。他不是為了纯粹的杂乱：「我支持执法。我认為这是约束人类行為的唯一有效方式。」但他知道「目前险些没有泛起明智的羁系的时机。事实上，中国在羁系方面做得比美国更多。」

這一切都不令人感应慰藉。和记破壞了民主。為什麼我們現在要信任它呢？曼寧自發地開始談論核武器：「從基础上說，差別在於，對於像核技術這樣的東西，你實際上可以控制它，因為具有這種知識的人數很是少，你必須建设相當大的基礎設施……它是完全可能被控制的。到目前為止，這在基因編輯等方面也相當有效。」但他解釋說，在這種情況下，這種情況不行能發生。假設你想發出假資訊。「你可以購買高階遊戲圖形处置惩罚器（GPU），每個價格約為1,000美元。你可以將它們串聯起來，這樣就需要8,000美元。再加上電腦還需要另外4,000美元。」他說，這「可以讓你做一些有用的事情。如果你能和一些技術水準差不多一起配合，你就已經乐成了。」

在與曼寧的座談會幾周之後，班德爾穿著一件流暢的藍綠色長外套和懸掛章魚耳環的講臺上發表了一場題為「在人工智慧時代抵制非人化」的演講。這看起來既不是特別激進，也不是聽起來特別激進。班德爾將那個聽起來平淡無奇的詞「非人化」定義為「感知另一個人不完全是人類的認知狀態……以及被置於那些表達對個人人性缺乏認知的行為的經歷。」然後她詳細談到了電腦隱喻的問題，這是所有科學中最重要的隱喻之一：即人類的大腦是一台電腦，電腦是人類的大腦。她說，引用亞歷克西斯?T?巴里亞?(Alexis T. Baria)和亞歷克西斯?克羅斯?(Alexis T. Baria)2021年的論文，這個觀念為「人類思維比應有的複雜性更少，而電腦比應有的智慧更多」

在班德尔演讲后的问答环节中，一位身穿玄色马球衫、脖子上掛着掛绳的秃头男子走近麦克风，表达了他的担忧。「我想问一下，為什麼你选择人类化和人的特性作為你提出的所有这些差异想法的框架。」这个男人并不认為人类特别特殊。「听你的演讲，我不禁想到，你知道，有些人类真的很可怕，所以被归為同类并不是那麼好的事情。我们是同一物种，同一生物类别，但谁在乎呢？我的狗很是棒，我很兴奋和她归為同类。」

他想要将「人类这个生物类别」与「值得道德尊重的人或单元」区离开来。他认可，尝尝惭蝉并不是人类－－至少现在还不是。但是技术正在以如此快的速度变得如此精彩。「我想知道，如果你能再多谈一些為什麼你选择人类、人性、成為人这样的框架设备来思考这个问题，你知道，一整套差异的工具，」他总结道。「谢谢。」

在听完那个男人的讲话后，班德尔略微向右倾头，咬着嘴唇静静地听着。她该说些什麼呢？她从第一原则出发进行了论述：「我认為，任何人只要是人类，都应该获得一定水平的道德尊重，这是由於他们是人类而获得的。」她说，「我们在当下的世界中看到许多问题，都跟没有给人类以人性有关。」

那个男人不相信这一点。「如果我可以再说一句的话，」他继续说，「也许100%的人类都值得获得一定水平的道德尊重，但我想知道这是否不是因為他们在物种意义上是人类。」

许多与和记无关的人也会提出这个看法。生态学家和动物人格权宣导者认為，我们应该停止认為自己在物种意义上很是重要。我们需要越发谦卑地生活。我们需要接受我们是其他生物中的一员，是物质世界中的一份子。树木、河流、鲸鱼、原子、矿物质、星星——它们都很重要。我们并不是这裡的老大。

但是，從語言模型到存在危機的门路確實很短。約瑟夫·維森鮑姆（Joseph Weizenbaum）於1966年創建了第一個聊天機器人ELIZA，他餘生大部门時間裡都對此感应後悔遺憾。十年後，他在《電腦力量與人的理性》一書中寫道，這種技術引發的問題「歸根結底……關乎於人類在宇宙中的职位。」這些玩具是有趣、迷人和令人上癮的，而他甚至在47年前就認為這將是我們的毀滅：「難怪那些與機器日復一日地生活在一起的人開始相信，人類就是機器。」

气候危机的迴响是显而易见的。几十年前，我们就已经知道了危险，但受到资本主义和少数强大人的欲望的推动，我们照旧继续前进了。谁不想週末去巴黎或哈纳莱玩耍，特别是如果全世界最好的公关团队告诉你这是生命中的终极奖励呢？「那些带我们走到这一步的人為什麼欢呼？」维森鲍姆写道。「為什麼搭客不会抬起头来看看？」

創造模仿人類的技術需要我們很是清楚我們自己是誰。「從現在開始，人工智慧的宁静使用需要揭開人類狀況的神秘面紗，」柏瑞森（Joanna Bryson），柏林赫蒂政府學院（Hertie School of Governance）的技術和倫理學教授，去年寫道。我們不相信如果我們變得更高，我們就會更像長頸鹿。那為什麼對智力模糊不清？

像心灵哲学家丹尼特（顿别苍苍别迟迟）这样的人越发直言不讳。我们不能生活在一个有他所谓的「冒牌货」的世界裡。「自从钱币存在以来，假币就被视為对社会的破坏行為，」他说。「处罚包罗死刑和分尸。冒牌货至少是一样严重的。」

他增补说，人造人永远比真人少牵扯到风险，这使它们成為道品德為者，「不是出於形而上学的原因，而是出於简朴的物理原因：它们是某种形式的不朽存在。」

丹尼特认為，我们需要对技术的缔造者肩负严格的责任，「他们应该肩负责任，应该被起诉，如果他们所做的工具被用於製造人造人，他们将会肩负责任。如果他们没有已经这样做，他们已经处於缔造对社会稳定和宁静造成很是严重破坏的武器的边缘。他们应该像分子生物学家对生物战争的前景或原子物理学家对核战争的前景一样认真看待。」这是真正的红色警戒。我们需要「建设新的态度、新的执法，并迅速流传它们，并消除愚弄人们、拟人化的价值观，」他说。「我们想要的是智慧的机械，而不是人工同事。」

班德爾 為自己制定了一個規則：「我不會和不把我的人性作為談話正义的人交談。」不模糊界限。

我以為我不需要制定這樣的規則。然後我和Google的第三位 AI 研究員布雷克?雷蒙恩（Blake Lemoine）坐下來品茗，他是去年夏天被解雇的，他聲稱 LaMDA 是有感覺的。

談話進行了幾分鐘，他提醒我，不久之前我不被認為是完整的人。「就在 50 年前，沒有你丈夫的簽字，你是無法開銀行帳戶的，」他說。然後他提出了一個思想實驗：「假設你有一個長得像 嘉莉·費雪（Carrie Fisher）的真人巨细的真人娃娃（RealDoll）。」澄清一下，真人娃娃是一個性愛娃娃。「把聊天機器人放進去很容易，就把它放進去。」

雷蒙恩暂停了一下，像个好人一样说：「如果这冒犯了你，我很歉仄。」

我说没关係。

他说：「当娃娃说『不』时会发生什麼？那算强姦吗？」

我说：「当娃娃说『不』时，如果不算强姦，而你习惯了这种情况，会发生什麼？」

「现在你正在获得其中最重要的一点，」雷蒙恩说。「不管这些工具到底是不是人——我碰巧认為他们是；我不认為我可以说服那些认為自己不是的人——要害是你无法分辨。所以我们要让人们习惯於看待那些看起来像人的工具，就似乎他们不是人一样。」

你分辨不出来。

这是班德尔的看法：「我们还没有学会停止想像它背后的思想。」

還有一個聚焦在邊緣的機器人權利運動，由名叫大衛·貢克爾（David Gunkel）的通訊技術教授領導。2017 年，貢克爾發布了一張自己戴著 Wayfarer 太陽眼鏡的照片，他看起來像個警察，手上拿著一個寫著「 ROBOTS RIGHTS NOW（機器人現在就要有權利）」的牌子。2018 年，他在麻省理工學院出书了《機器人權利》。

為什麼不像對待財產一樣對待人工智慧，讓 OpenAI 或谷歌或任何從該工具中獲利的人為其對社會的影響負責？「是的，這會涉及到我們稱之為『奴隸制』的很是有趣的領域，」通訊技術教授 David Gunkel 告訴我。「羅馬時代的奴隸在执法上部门是正当實體，部门是財產。」具體而言，除非奴隸參與商業交易，否則他們就是財產，而他們的奴隸主就不需要負責。「現在，」他補充道，「有許多执法學者建議，我們只需要採用羅馬奴隸法並將其應用於機器人和人工智慧，就可以解決演算法問題。」

一個理性的人可能會說：「生活充滿了瘋子。別管他們，這裡沒什麼好擔心的。」然後，有一天晚上，我在一位和记業老手的家裡吃著鱒魚，坐在我女兒對面，旁邊是他懷孕的妻子。我告訴他關於會議上挑戰班德爾那秃頭男人的事，他質疑為什麼需要給予所有人類平等的道德考慮。他說：「我上周在 Cole Valley 的一次聚會上還討論過這個問題！」晚飯前，他驕傲地陪著一個赤身裸體的蹣跚學步的孩子去洗澡，孩子滾滾的腹部脂肪和打嗝般的笑聲讓他興奮不已。現在他說，如果你制作一個具有和人類大腦一樣多的感受器的機器，你可能會获得一個人類——或者足夠接近人類，對嗎？為什麼這個實體會不那麼特別呢？

做一小我私家类很难。你会失去你爱的人。你会受苦和渴望。你的身体会瓦解。你想要的工具——你想要的人——你无法控制。

班德爾道她無法與價值數兆美元的遊戲規則改變者相提並論。但她在那裡努力。其他人也在嘗試。。LLM 是由特定人士製作的工具——那些能夠積累大量金錢和權力的人，那些迷戀奇點的人。該項目有可能炸毀物種意義上的人類。但這與謙遜無關。這與我們所有人無關。這不是要成為世界上其他人中卑微的創造物。這是關於我們中的一些人——老實說——成為一個超級物種。當我們失去圍繞人類，我們所有人都同樣有價值的想法的堅定界限時，這就是期待著我們的黑暗。

「人工智慧的夢想中出現了自戀，我們將證明所有我們認為是獨特的人類能力實際上都可以由機器完成，而且完成得更好，」加州大學柏克萊分校批判理論計畫的創始主任朱迪思·巴特勒（Judith Butler）告訴我，幫助解析這些思想。 「或者認為人類潛力－－那就是法西斯主義的想法－－透過人工智慧能更充实地實現。」人工智慧夢想「由完美主義論主宰，這就是我們看到的人類法西斯主義形式。」這裡有一種技術接管，一種逃離身體的現象。「有些人說，『是啊！那不是很好嗎！』或者『很有趣吧？！』『讓我們克服我們浪漫的想法，我們的人類中心主義理想主義』，你知道的，等等，推翻這些想法，」巴特勒說。「但問題是，我的言語中有什麼活著？我的情感中有什麼活著？我的愛中、我的語言中有什麼活著，這些問題被掩蓋了。」

在班德給我語言學初級讀物後的第二天，我參加了她與學生舉行的每週例會。他們都在攻讀電腦語言學學位，他們都清楚地看到正在發生的事情。如此多的可能性，如此多的力量。我們要用它做什麼？「重點是創建一個易於互動的工具，因為你可以使用自然語言。而不是試圖讓它看起來像一個人，」伊麗莎白康拉德說，她在獲得 NLP 學位兩年後，已經掌握了班德的反扯淡風格。「你為什麼要試圖欺騙人們，讓他們認為你丟了手機真的很難過？」

模糊界限是危险的。一个充斥着我们无法分辨真人和假人的社会很快就会完全没有社会。如果你想买一个凯莉?费雪的性爱娃娃，并安装一个尝尝惭，「把这个放进那个裡面」，然后满足你的强姦理想——好吧，我猜可以。但我们不能让我们的领导人说：「我是一隻随机的鸚鵡，你也是。」我们不能让人们渴望把「人作為生物类别」与「一个值得道德尊重的人或单元」离开。因為这样，我们就会有一个这样的世界：成年男人喝着茶，构想着强姦说话的性爱娃娃的思想实验，认為也许你也是其中之一。