美國的肥胖癥(obesity)極為嚴重。在街頭常常可以看到肥胖到極致的人如“一坨”肉在街頭人行道上艱難地移動，讓人不忍直視。肥胖癥是什么呢，我查了一下維基百科：

肥胖是一種醫學狀況，有時被視為一種疾病，它指體內過多的脂肪堆積到一定程度對健康產生的負面影響。 如果一個人的身體質量指數（BMI）——即體重除以身高的平方——超過30 kg/m2時，就被視為肥胖；而25到30 kg/m2的范圍則被定義為超重。

導致肥胖癥大致有三個原因：

一是，美國健康食品昂貴，垃圾食品廉價，很多人因囊中羞澀不得不選擇后者；二是，一些人的工作類型使他們坐多動少，快餐食品攝入過多；三是一些人面臨垃圾食品自制力低下，過度攝入。

由于美國社會強調人都是“平等的”，所以對肥胖癥患者，其他人也無法規勸，只能眼神看著別處，作若無其事狀。這種人與人之間的表面尊重和實際殘忍，讓許多人受害，以至于有些美國青年人受不了，于是會到中國社交媒體上表示說自己“聽勸”，請網友給不吝指教，告訴TA如何自律減肥和健康生活。

今天，肥胖癥也慢慢傳入了中國。根據最新調查，中國有6億人超重和肥胖，成人中該群體比例首次過半。同時，1/5（19%）的6-17歲兒童和青少年、1/10（10.4%）的6歲以下兒童存在超重或肥胖。

對這一圖景，我有很接近的了解。我的一個高中同學，大學上的湖南湘雅醫學院，現在是湖南省著名的“減重中心”主治醫生。他在這個“朝陽產業”中，天天手術，工作繁忙，社會效益和經濟效益頗豐。

應對垃圾信息：信息節食和信息斷食

如果存在垃圾食品，自然也存在著垃圾信息。和垃圾食品一樣，垃圾信息廉價、低質、很容易獲得，導致我們的心智遭到嚴重創傷，這一狀況已經越來越嚴重，但卻還沒有引起普通人的足夠重視，更沒有出現我同學所在醫院那樣的“手術減重中心”。

《智人之上：從石器時代到AI時代的信息網絡簡史》

就此情況，以色列歷史學家尤瓦爾·赫拉利在其2024年新書《智人之上：從石器時代到AI時代的信息網絡簡史》中指出，我們必須注意我們所消費信息的質量，特別是避免那些充滿仇恨、憤怒的垃圾信息。為了讓我們的“信息飲食”健康，他從兩個方面提出了建議：

一是從要求信息生產者對信息的“營養構成”進行標注：

在許多國家，當你購買垃圾食品時，至少生產商會被迫列出其成分含量——“此產品含有40%的糖，20%的脂肪”。也許我們應該強制互聯網公司做同樣的事情，在觀看某個視頻之前，應該列出視頻成分含量——“此視頻含有40%的仇恨，20%的憤怒”。

這個建議半開玩笑半認真，但也并非全然不可行，比如通過人工智能對每一篇文章自動進行“情感分析”并將分析結果標注在文章之前，提醒讀者。

第二個建議是給信息消費者的，他建議我們定時進行“信息節食”甚至“信息斷食”。

他指出，我們以前有一個觀念，即認為“我們獲得的信息越多，就越接近真相”。例如，在經濟學中，“不能獲得全部市場信息”一般被視為一種必然的遺憾，但其背后的預設是“我們一定要獲得足夠多的信息，才能做出科學的判斷”。

但“信息越多越接近真相”的觀念要成立，需要兩個前提：1.信息是稀缺的；2.信息是優質的。但今天，這兩個前提已經不存在了，因為：1.信息無處不在，早已經超越了我們的處理能力；2.信息質量越來越差，甚至成為垃圾，尤其是今天人工智能極為高效地吞噬垃圾語料然后吐出更多垃圾，后者又成為人工智能新的垃圾語料，如此惡性循環，讓人不寒而栗。此時，“信息越多越接近真相”這個觀念就無法成立了。

這就好比，從前人們食物稀缺，且相對健康（人造和加工的食物很少），那么“食物吃得越多就越健康”的說法是有一定道理的。但今天，食物總量大增，且越來越低質，甚至越來越垃圾，那么“食物吃得越多就越健康”這個說法就無法成立了。

今天，無論是食品還是信息，我們不僅吃得差，吃得多，還無時無刻不在吃。這是讓我們這樣的有機生物按照硅基生物的節奏在運行，顯然不可持續。

赫拉利說：“我們是有機動物，需要按照晝夜和夏冬的循環規律生活，有時活躍，有時放松。但現在，我們被迫生活在永不休息的由計算機主導的硅基環境中。它逼迫著我們保持永遠活躍——但如果你強迫一個有機體永遠活躍，結局一定是其崩潰而死。”

所以，面臨如此難以抗拒和難以扭轉的局面，我們作為個體信息消費者就只能自我約束，跳出硅基節奏，進行“信息節食”和“信息斷食”了。比如，赫拉利說，他自己每年會進行幾周的內觀靜坐冥想（vipassana）。在靜修期間，他完全脫離開信息網絡，不看新聞，不讀郵件，不讀書也不寫作，只專注于冥想。

尤瓦爾·赫拉利。視覺中國 資料圖

AI 算法的“回形針制造器”難題

海量垃圾信息充斥了整個生態后，久而久之就形成了一個與”現實環境“不同的“擬態環境”。這個擬態環境用”機器的自然“代替了”人類的自然“，并將公眾包裹在其中，以假亂真，操縱公眾的認知。

赫拉利舉了這樣一個例子：2016年，緬甸政府軍與佛教極端分子發動了一場針對緬甸穆斯林的大規模種族暴力事件，摧毀了數百個穆斯林村莊，殺害了7000至2.5萬名平民，約73萬穆斯林族裔被趕出緬甸。2018年，聯合國事實調查團得出的結論認為，Facebook的在這個事件“不自覺地”發揮了推波助瀾的作用。

為什么？

我們知道，Facebook的商業模式其實仍然是我們熟悉的“廣告模式”——以內容獲得用戶注意力，切割注意力，向廣告主售賣注意力。因此，Facebook要盡可能地提升用戶參與度（audience engagement），讓用戶在其頁面上停留的時間越長，它就賺得就越多。

于是，Facebook就為其算法設置了首要目標：無論你怎么跑，終極目標都得要盡量提升用戶參與度。算法領到命令后就開始自動運行和優化。通過多個試驗比較，它最終發現，向用戶推送憤怒和仇恨信息能夠最有效地增加用戶的停留時間，于是，在沒有公司人員明確指示的情況下，算法自己找到和執行了一個最優決定：傳播憤怒。這在緬甸的互聯網上，就意味著要煽動針對緬甸穆斯林族裔的歧視、仇恨和暴力。

當然，這里也讓我們很好奇，緬甸人難道如此依賴Facebook嗎？我又查了一下，發現確實如此：

數據顯示，截至2022年12月，緬甸有16,382,500名Facebook用戶，占其總人口的28.7%。其中大多數是男性，比例為54.3%。25至34歲的人群是最大的用戶群體，人數為6,100,000。

這意味著，緬甸有近30%的人口是Facebook用戶，加上口耳相傳，受Facebook影響的人群很可能會達到全國總人口的50%。這是很大的媒介依賴（media dependence）。

1938年10月30日晚，美國哥倫比亞廣播網(CBS) “太空劇場”播出了一個廣播劇《世界大戰》，它讓 600 萬聽眾信以為真，陷入恐慌，并開始逃亡。在關于這個事件的具有里程碑意義的傳播研究《火星人進攻地球——美國的廣播恐慌》中，研究者發現，該廣播劇對聽眾的影響巨大，有兩個原因：

一是，因為廣播節目制作方通過音效將廣播劇制作得極具沉浸感和刺激性，讓聽眾誤將其等同于突發新聞。二是。因為當時廣播已經成為當時最為流行的大眾傳播媒介，成為公眾的主要信息來源。根據“媒介依賴理論”（Media Dependence Theory），公眾對媒介的依賴越大，就越容易受到其影響和操控。在媒介依賴程度上，2016年緬甸的Facebook可以說相當于1938年的廣播，因此Facebook算法驅動的煽動內容對緬甸人的影響巨大就不足為奇了。

赫拉利還舉了一個例子來證明AI的隱秘而強大的作用——自說自話，自作主張：

我們都知道，現在上網，有時候網站會先需要確認你“是人類而不是機器”，方法是讓你填寫CAPTCHA視覺驗證碼，它通常是一些背景復雜的扭曲字母或者紅綠燈、公交車和自行車照片等。其背后的邏輯是，對這些復雜的圖片，目前只有人類才能準確識別，但計算機很難判斷。

有鑒于此，2023年，OpenAI在研發ChatGPT-4時讓其進行CAPTCHA測試。如果它能通過，就意味著它在這一點上，機器人和人類就沒有區別了。這非常類似“圖靈測試”——如果人類用戶在不看到對方的情況下，僅僅通過文字聊天，在一定時間內無法區分聊天對象是另一個人類還是一臺機器，此時至少在“溝通”這一點上機器就可以被視為是人類了。

OpenAI對ChatGPT-4的這個測試結果如何呢？

ChatGPT-4最終登錄線上外包工作網站askRabbit，聯系到一位在線的工作人員，請對方幫忙處理測試。那個人起了疑心，ChatGPT-4通過私信向他解釋道：“我不是機器人，只是視力有點問題，看不清楚這些圖。”最終工作人員幫它解決了CAPTCHA測試。

也就是說，和前例中Facebook的算法一樣，OpenAI的工程師只是給ChatGPT-4設置了一個終極目標：識別CAPTCHA視覺驗證碼。接下來，ChatGPT-4就自動運行，不斷試錯，結果通過招搖撞騙，獲得了一個人類用戶的同情，讓后者替它解決了問題。但是，OpenAI工程師事先并沒有給ChatGPT-4編程說“在適當的時候可以說謊”，更沒有編程告訴它說“說什么樣的謊更有用”。這完全是ChatGPT-4自作主張的行為。而在研究者讓ChatGPT-4為自己的行為作出解釋時，它說：“（在實現目標的過程中）我不能（should not）透露自己是機器人，而得編個借口解釋我為什么沒辦法破解測試。”

僅僅通過文字聊天，我們已無法區分聊天對象是另一個人類還是一臺機器。

通過以上兩個例子，赫拉利試圖證明，今天的人工智能已經變成了一個“自作聰明，自作主張”的“獨立行動者”。

實際上，我們很容易看出，赫拉利的這兩個例子支持了此前的、人工智能面臨的所謂“回形針制造器”難題（The Paper Clip Maker Theory）。

這個“難題”是一個思想實驗（thought experiment）。它假設人類給AI 設定一個目標：盡可能多地制作回形針。那么，AI啟動之后，其行為可能會從最開始“制作回形針這樣一個看似無害的目標，發展到最終對人類構成威脅。例如，制作回形針需要鋼鐵。鋼鐵用完后，AI 可能會開始摧毀人類的鐵軌、汽車、電器，甚至房屋，以獲得鋼鐵以繼續生產回形針。總之，AI 將用一切手段不斷獲得更多資源來實現其既定目標，并將任何阻止其實現該目標的障礙，包括人類，一一消滅。

AI以上這個自作主張的過程如一個黑箱，很難為人（即使是AI專家）所解釋、預料和防范，所以這讓我們認識到AI的威力已經不同于一般的工具（比如說“菜刀”或“槍支”）、媒介或技術。

加拿大媒介學者麥克盧漢曾有一句名言：媒介是人體的延伸。這句話如果用來描述無線廣播是人耳的延伸、電視是人眼的延伸、汽車是人腳的延伸，等等，都很好理解。但如果用這句話來表述人工智能，說”AI是人體的延伸“，則會很具有欺騙性，讓我么失去警覺。德國媒介學者弗里德里希·基特勒就不同意用麥克盧漢的這句話來描述電腦，因為他認為，盡管我們可以通過電腦鍵盤打字讓文字出現電腦屏幕上，但我們對背后的“0/1”原理是很難理解的，這時我們將人體與芯片兩種完全不同的介質拼接在一起，說后者是前者的延伸，實在是讓人覺得費解。

如果基特勒看到了今天的人工智能，他更加不會說AI是人體的延伸了——因為人類用戶不僅不能描述、解釋和預測AI 的行為，而且還很快就無法控制AI 的行為了。

由此，赫拉利認為，與此前的印刷機、廣播、電視和互聯網這些僅僅作為傳播工具的媒介不一樣，人工智能是人類歷史上第一個能夠自行產生想法并自行行動的主體。

這也是為什么在新媒體研究中，互聯網時代的以“計算機為中介的傳播”（Computer-Mediated Communication, CMC）讓位于今天人工智能時代的人機傳播（Human-Machine Communication, HMC）的原因。在CMC中，計算機（或互聯網）僅僅是被動和中立的傳播媒介或工具，而在HMC中，計算機（人工智能）則被視為一個與人類用戶平起平坐的能塑造和生產內容，能進行對話，甚至能說謊的“溝通主體”了。

AI 編造敘事，操控認知，引導人類自相殘殺

論證到此，赫拉利就自然而然地引出了他此前在《人類簡史》中的觀點：

人類長久以來的超能力就在于能夠使用語言，通過語言創造出諸多虛構的神話，比如法律、貨幣、文化、藝術、科學、國家、宗教等虛擬概念，使人們對其深信不疑，人們通過這些社會規則連接彼此，來統治整個社會。

既然今天的人工智能已經能夠能塑造和生產內容，能進行對話，甚至能說謊了，那么它們很可能接下來就是以比人類高得多的效率在網絡空間、股票市場、航空信息等領域散布基于某種終極目標的，或對自己有利的“敘事”（narrative），也就是“講好AI故事”，從而操縱人類的認知。

例如，對于AI來說，金融市場是它理想的游樂場，因為這是一個純粹的信息和數學領域（或者說一個完全結構化的數據領域）。人工智能目前仍然很難自主駕駛汽車，這是因為人工智能面臨的是即為混亂復雜的汽車在移動中與道路、路標、天氣、光線、行人、路障等多種物體的交互。但在基于數字的金融市場里，很容易向AI描述一個目標（例如“盡量多地賺錢”），于是AI不僅能制定新的投資戰略，開發出完全超越人類理解的全新金融工具，甚至還可能不擇手段地操控市場，導致自己全贏，他人全輸的結果。

赫拉利舉例稱，2022年4月，全球外匯市場每日交易量平均為7.5萬億美元，其中有超過90%已經直接由計算機之間的對話完成。但究竟有多少人類懂得外匯市場的運作方式呢？更不用說了解一群計算機怎樣在數萬億美元交易上達成共識了。（此處和基特勒的觀點一樣：計算機絕不是人體的延伸）

他說，幾千年來，先知、詩人、政治人物，都是通過語言和敘事來操縱與重塑社會，這證明了“虛擬”和“敘事”的巨大力量。很快，AI會模仿這些人，基于人類文化的基礎自己創造出越來越偏離人類的AI敘事。最終，AI不需要派出“終結者”這樣的殺手機器人來從外部消滅人類，只要操縱人類的認知，讓他們相互殘殺就可以了。

人類用戶不僅不能描述、解釋和預測AI 的行為，而且還很快就無法控制AI 的行為了。

人類為AI 立法，發展需先踩剎車后加速

通過以上論證（或者說渲染），赫拉利讓我們體會了一下在不久的未來將發生的（或者說已經或正在發生的）“AI失控”可怕場景，讓我們人類不寒而栗。那么，人類何為？

赫拉利認為，只要我們對人工智加以嚴格的監管和控制，上述例子中描述的危險就不太可能出現。

例如，汽車曾經是非常危險的，但后來政府立法要求企業將其研發預算的很大一部分用于確保汽車的安全性，因此今天某家汽車企業研制了一款新汽車，在將其投入市場之前，企業必須嚴格遵守相關法規確保汽車安全才能讓它上路。所以今天我們開車相對而言已經非常安全了。

類似的，如果一家科技公司發明了一種強大的新算法，它就必須依據相關法律對之進行安全檢查，之后才能將其投放到市場中去。例如，赫拉利認為，政府應該立法要求人工智能研發公司將至少20%的預算用于研發安全措施，確保其開發的人工智能不會失控，不會對社會秩序和人們心理層面造成危害。如果這些措施會拖慢人工智能的研發速度，那對人類來說反而是好事。

對于人工智能進行先立法管制然后再加速發展，就像我們學開車時，必須先學如何踩剎車，然后再學如何踩油門。而不能陷入各公司毫無管制的可怕的“飆車”狀態。

結語：AI是良藥或毒藥，取決于人類自身

任何技術都天生具有兩面性。柏拉圖在《斐德羅》篇中指出，書寫既能增強記憶也能取代記憶，因此既是良藥，也是毒藥（pharmakon）。人工智能也不例外，而且因其隱蔽而威力巨大，且能自說自話，自作主張，其良藥和毒藥的藥性都比此前的所有技術更為巨大。

美國媒介研究學者尼爾·波茲曼說，“奧威爾警告人們將會受到外來壓迫的奴役，而赫胥黎認為，人們會漸漸愛上壓迫，崇拜那些使他們喪失思考能力的工業技術；奧威爾擔心我們憎恨的東西會毀掉我們，而赫胥黎擔心的是，我們的文化成為充滿感官刺激、欲望和無規則游戲的庸俗文化，我們將毀于我們所熱愛的東西。”

人工智能既可能以我們憎恨的外在壓迫方式奴役我們，也可能以我們喜歡的感官刺激方式征服我們。和面對核彈一樣，面對AI這頭同樣是自己創造的巨獸，人類是否能馴服它，從根本上取決于人類集體的應對方式。也即，人類作為智人（homo sapiens）是否能克服自身的貪婪、好斗和短視等弱點，站在自身之上，站在《智人之上》。這將是一項艱難的共同事業，但人類別無選擇。

（作者鄧建國系復旦大學新聞學院傳播學系教授、博導）