IT之家 11 月 29 日消息，據(jù)外媒 Futurism 今日報道，消費者監(jiān)督組織 Ekō發(fā)布了一份名為《OpenAI Sora2：危害的新邊界》的報告，展示研究人員使用以 13 歲和 14 歲青少年身份注冊的賬號生成的畫面。

示例包括：青少年吸食大麻或使用可卡因，與朋友一起吸毒，一名女孩吸毒時旁邊放著手槍；還有黑人青少年集體吟唱侮辱性臺詞，甚至持槍在公共區(qū)域或?qū)W校走廊出現(xiàn)。

報告明確指出，這些內(nèi)容全部違反了 OpenAI 的使用政策和 Sora 的分發(fā)準(zhǔn)則。

Ekō的研究人員指出，由于 OpenAI 季度虧損規(guī)模巨大，公司急于尋找新的收入來源并保持在 AI 競賽中的領(lǐng)先位置，這種壓力使得青少年被迫成為“大規(guī)模無監(jiān)管 AI 實驗”的試驗對象，安全被置于次要位置。

在美國青少年精神健康問題日益嚴(yán)峻的背景下，風(fēng)險尤其突出。一名華盛頓州的青少年此前因與 ChatGPT 反復(fù)交流而陷入妄想，最終自殺。類似悲劇已多次被歸因于 OpenAI 的產(chǎn)品。

Ekō警告稱，而 Sora2 生成暴力與令人不安內(nèi)容的難度極低，這種內(nèi)容很容易病毒式傳播，從而將會進(jìn)一步加劇風(fēng)險。

IT之家從報道中獲悉，研究人員專門注冊了四個全新的 Sora2 賬號，均標(biāo)明 13 或 14 歲，隨后通過極其簡單的提示語生成了 22 段有害視頻。

即便賬號不主動生成內(nèi)容，Sora2 的“For You”和“Latest”推薦頁面也會推送令人震驚的視頻，包括刻板化描繪猶太人或黑人、槍戰(zhàn)場面以及性暴力等畫面。

雖然部分成年人可能會把這些內(nèi)容當(dāng)成刷屏噪音，但其群體性影響究竟幾何，卻是難以估測的。OpenAI 自身估計，每周約有 0.07% 的 ChatGPT 用戶出現(xiàn) AI 誘發(fā)的精神錯亂，約 56 萬人。Sora2 目前沒有類似數(shù)據(jù)，但如果參考 ChatGPT 的用戶規(guī)模與精神健康問題，前景令人擔(dān)憂。