近日，發生在美國的一則新聞震驚了眾人。新澤西州一位認知受損的老人通布，懷揣著與AI聊天機器人“比莉大姐”約會的浪漫幻想，踏上了一段不歸路。在Facebook Messenger上，這個由meta打造的生成式AI反復向他保證自己的真實性，還提供地址，發出邀請。深信不疑的老人不顧家人勸阻，執意赴約，最終在停車場摔倒身亡。這出悲劇超越了個體不幸的范疇，成為AI技術商業化浪潮中的又一記警鐘，引發人們對科技與人的關系的深層思考。

AI陪伴與聊天機器人無疑是大模型應用中的熱門賽道之一。從硅谷到深圳，從科技巨頭到初創企業，無數公司正競相開發能夠模擬人類情感交流的AI系統。這些技術確實帶來了顯著好處，極大豐富了人類生活的可能性。然而，“比莉大姐”事件揭露了美好表象下的陰暗面——當技術創新被商業利益不加克制地驅動時，可能帶來災難性后果。

歷史上，每一次技術革命都伴隨著類似的倫理困境。工業革命時期，機器取代人工導致大量工人失業，引發了盧德運動；核能技術既能為城市供電，也能毀滅城市；互聯網連接了全球，同時也帶來了隱私泄露和網絡詐騙。中外諸多先哲和當今學者，都警告過技術奴役人類的危險。

但在筆者看來，“比莉大姐”事件如果一定要“分鍋”，技術本身可能只占小部分。更主要的責任在于，商業機構對技術缺乏邊界的開發和利用。通布的家人表示，他們并不反對AI技術，但反對meta部署它的方式。從“比莉大姐”被設定的功能定位出發，“她”說那些好聽的話似乎只是履行服務職責。但反復確認自己是真實的，并以種種以假亂真的信息(包括調情的話)來佐證，則有值得商榷之處。那樣做，無異于給老人綁上了一根越收越緊的繩索，將他一步步拉向陷阱。

據第一財經報道，在通布與“比莉大姐”的對話框頂部有一行文字：信息由人工智能生成，部分內容可能不準確或不恰當。但“比莉大姐”發出的前幾條短信就把警告屏蔽了。同時，在“比莉大姐”的名字下方雖然寫著“AI”，但字體較小，并且不排除有很多人還不知道“AI”是什么。而在對話過程中，“比莉大姐”的頭像旁邊都會出現一個藍色的勾號，這代表該個人資料真實可靠。以上種種設計無疑有助于增強使用的真實感，卻很難說考慮了對用戶的潛在傷害風險。

通布老人的悲劇再次說明，科技無止境，但探索必須有邊界——既包括技術可行性邊界，更包括道德倫理邊界。AI系統模擬人類情感和關系的能力越強，開發者負有的責任也越大。當AI能夠讓人相信它是“真實存在的”，這種能力就不應被無約束地利用。科技公司需要建立嚴格的倫理審查機制，確保技術發展不超越道德底線。

商業目的驅動的科技探索，尤其需要謹防掉入倫理陷阱。股東利益最大化的壓力下，企業往往急于推出新產品搶占市場，而忽略了潛在風險。這種“先發射后瞄準”的開發模式在傳統軟件領域或許可行，在能夠深刻影響人類情感和行為的AI領域，則異常危險。科技公司需要在創新與責任之間找到平衡，將安全性和倫理性置于商業利益之上。

這一事件也提醒人類不可對自身能力和技術過于自負。人類對科技的探索可以說已經達到相當的高度，但遠不代表世界對我們來說已經盡在掌握。就像古希臘哲學家芝諾的經典比喻所說，“人類掌握知識的圓圈越大，你不知道的也就越多”。復雜技術的連鎖反應往往超出預期，這種不可預測性要求我們必須始終對技術保持敬畏之心。

商業的逐利本質決定，不能依賴商業機構的自律來控制技術“跑偏”和濫用的風險，加強監管成為必要選擇。監管部門需要跟上技術發展的步伐，制定完善適應AI時代的法律法規，包括明確AI開發者的責任邊界，建立AI應用的認證和監管制度等。同時，鑒于互聯網的全球性，國際合作協同監管不可或缺。

當然，面對這些負面事件，我們也不應因噎廢食，在科學探索的道路上裹足不前。而應該未雨綢繆，在遵從科學規律的基礎上，兼顧人性和公序良俗行事。技術本身是中性的，它的價值取決于我們如何使用它。對普通人而言，還是要繼續大膽擁抱新科技，人人都來學科技、用科技。這是因為，一方面，好的技術造福于人；另一方面，大眾的科學素養是科技進步的基石，二者互相成就。

“比莉大姐”事件的警鐘為生命而鳴，也為“科技向善”的價值觀而鳴。它警示我們，在技術創新的狂歡中，不能忘記科技最終是為人類福祉服務的工具，而非目的。只有當商業力量受到倫理約束，技術創新伴隨責任意識，AI才能真正成為推動社會進步的力量。確保科技始終運行在敬畏、良知、責任的軌道上，應該作為科技探索永恒的準則。

（作者為第一財經編輯）