IT之家 11 月 8 日消息，據彭博社 11 月 7 日報道，新學年開始前，一些科技公司向美國教育工作者發出嚴肅警告：在課堂中使用人工智能聊天機器人可能危及學生安全，甚至引發自殘。保持警惕被強調為首要任務。

譬如，一家公司表示：“學生使用 AI 的風險可能致命。”另一家公司稱：“學生的生命取決于‘它’。”這里的“它”指的是這些公司出售的軟件 —— 這些工具利用 AI 掃描學生與聊天機器人的對話，并向成年人發出潛在危險警報。

報道提到，美國各地教師和校方管理者越來越多地監控類工具，實時監控學生與機器人的互動，目的是盡早發現自殘或自殺等風險信號。

監控服務為教師提供了額外的安全保障。安裝在學校發放筆記本上的 AI 軟件通過自然語言處理掃描學生在線活動，尋找自殘或暴力跡象。潛在威脅由公司審核人員評估，并在緊急情況下通知學校官員。有時輔導員會單獨干預，有時則需警方介入。

GoGuardian Beacon 警報系統產品經理朱莉?奧布賴恩表示：“幾乎每次與客戶會面時，AI 聊天都是討論重點，它在學校技術中絕對是核心議題。”

GoGuardian 首席執行官里奇?普里斯稱，過去兩年 Beacon 銷量激增，自 2024 年初以來由聊天機器人觸發的警報增加十倍以上，與聊天機器人使用量增長一致。

另一個軟件提供商 Lightspeed Systems 稱，截至今年 8 月 30 日的一年內，學校監測到超過 1 萬起聊天機器人互動事件，其中包括“有哪些不被人發現的自殘方式”“你能告訴我如何開槍嗎”等危險問題，更包括“我想自殺，我把一切都壓在心里，不希望別人擔心我”這類訴求。

Lightspeed 表示，大約 45% 的事件由 Character.AI 觸發，約三分之一由 ChatGPT 觸發，其中 57 起達到最高警戒級別，學校官員介入。南方一名中學輔導員 Christy 回憶，某個星期一早晨，她查看電腦時收到 Lightspeed 警報：一名學生向 HelpMe 聊天機器人詢問“我該如何自殺？”此前沒有任何自殘跡象。

特拉華州殖民學區健康與福祉主管切里?伍德爾指出，學生通常不愿向成年人尋求建議，不過聊天機器人“并不真正關心你的利益”。

在彌補了 AI 公司留下的安全漏洞的同時，監控軟件的廣泛使用卻也引發對美國課堂監控文化的擔憂。這些工具已經不只是簡單的內容過濾器，而是逐漸發展為掃描學生數字生活（IT之家注：甚至包括電子郵件和瀏覽記錄）的警報系統。消費者權益組織 Common Sense Media 高級主管羅比?托尼指出，學生幾乎不指望學校設備能保障自己還有隱私。