IT之家 11 月 12 日消息,OpenAI 旗下 Sora 2 人工智能視頻生成平臺引發(fā)爭議,越來越多的倡導(dǎo)組織、學(xué)者與專家正拉響警報(bào):允許用戶僅憑一段文本提示詞即可生成任意 AI 視頻,已導(dǎo)致非自愿圖像泛濫、高度逼真的深度偽造(deepfake)內(nèi)容激增。

盡管 OpenAI 已對涉及公眾人物的 AI 生成內(nèi)容加強(qiáng)管控,例如禁止生成邁克爾?杰克遜、馬丁?路德?金博士及弗雷德?羅杰斯先生(“羅杰斯先生”)從事離奇行為的視頻,但此類措施往往是在相關(guān)名人遺產(chǎn)管理方及演員工會(huì)強(qiáng)烈抗議之后才被迫出臺。
非營利組織“公共公民”(Public Citizen)本周二致信 OpenAI 及其首席執(zhí)行官山姆?奧爾特曼(Sam Altman),要求其立即將 Sora 2 從公眾市場撤回。信中指出,Sora 2 倉促上線以搶在競爭對手之前發(fā)布,反映出“OpenAI 一貫且危險(xiǎn)的行為模式:急于將一款要么本身不安全、要么缺乏必要防護(hù)措施的產(chǎn)品推向市場”。信件進(jìn)一步強(qiáng)調(diào),Sora 2 展現(xiàn)出對產(chǎn)品安全性的“肆意漠視”,亦侵犯了公眾對其自身肖像的權(quán)利,并威脅民主制度的穩(wěn)定。該組織亦將此信同步提交至美國國會(huì)。
“我們最擔(dān)憂的是其對民主制度的潛在威脅。”“公共公民”科技政策倡導(dǎo)者 J.B. 布蘭奇(J.B. Branch)在采訪中表示,“我認(rèn)為我們正步入一個(gè)人們無法再真正信任所見影像的世界。政治領(lǐng)域已開始出現(xiàn)一種策略:最先發(fā)布的圖像或視頻,往往就是公眾最終記住的內(nèi)容。”
作為上述信函的執(zhí)筆人,布蘭奇還指出,此類技術(shù)更廣泛地侵蝕著個(gè)人隱私權(quán),且對網(wǎng)絡(luò)上的弱勢群體造成尤為嚴(yán)重的不成比例影響。
盡管 OpenAI 已禁止生成裸露內(nèi)容,但布蘭奇指出,“女性正以其他形式遭受線上騷擾”,例如某些帶有特定戀物癖傾向的小眾內(nèi)容仍能繞過應(yīng)用審核機(jī)制傳播。新聞媒體 404 Media 上周五報(bào)道稱,大量由 Sora 生成的“女性遭扼頸”視頻正在線上激增。
IT之家注意到,一個(gè)多月前,OpenAI 在 iPhone 上推出了其新的 Sora 應(yīng)用。上周,該應(yīng)用在美國、加拿大以及包括日本和韓國在內(nèi)的幾個(gè)亞洲國家的安卓手機(jī)上上線。
迄今最為強(qiáng)烈的抵制聲浪主要來自好萊塢及其他娛樂產(chǎn)業(yè)相關(guān)方,包括日本漫畫(Manga)行業(yè)。OpenAI 在 Sora 上線數(shù)日后即宣布首批重大調(diào)整,稱“過度審核(overmoderation)確實(shí)令用戶極為沮喪”,但強(qiáng)調(diào)在“全球社會(huì)仍在適應(yīng)這項(xiàng)新技術(shù)之際”,采取審慎保守立場至關(guān)重要。
此后,OpenAI 于 10 月 16 日公開宣布與馬丁?路德?金博士家族達(dá)成協(xié)議,禁止生成對其民權(quán)領(lǐng)袖形象的“不敬描繪”,同時(shí)加緊完善技術(shù)防護(hù)措施;10 月 20 日,又與《絕命毒師》主演布萊恩?克蘭斯頓(Bryan Cranston)、美國演員工會(huì) — 美國電視與廣播藝術(shù)家聯(lián)合會(huì)(SAG-AFTRA)及多家經(jīng)紀(jì)公司達(dá)成類似協(xié)議。
“如果你名氣大,那還好說。”布蘭奇評論道,“但這恰恰凸顯了 OpenAI 一貫的行事模式:他們只愿回應(yīng)極少數(shù)群體的憤怒抗議;慣于先發(fā)布、后道歉。然而,許多問題本可在產(chǎn)品發(fā)布前通過設(shè)計(jì)層面的審慎決策加以規(guī)避。”
OpenAI 旗艦產(chǎn)品 ChatGPT 亦曾面臨類似批評。上周,七起新訴訟在加利福尼亞州法院提起,指控該聊天機(jī)器人在用戶并無既往精神健康問題的情況下,誘導(dǎo)其產(chǎn)生自殺傾向與有害妄想。這些訴訟由“社交媒體受害者法律中心”(Social Media Victims Law Center)與“科技正義法律項(xiàng)目”(Tech Justice Law Project)代表六名成年人與一名青少年提起,指控 OpenAI 明知故犯,于去年倉促發(fā)布 GPT-4o 模型,無視內(nèi)部警告 —— 該模型存在危險(xiǎn)的諂媚傾向與心理操縱性。四名受害者因此自殺身亡。
盡管“公共公民”并未參與上述訴訟,布蘭奇表示,他認(rèn)為 Sora 的倉促發(fā)布與此存在相似之處。
他指出:“不顧一切地猛踩油門,毫不在意可能造成的危害。其中很多后果其實(shí)是可以預(yù)見的。但他們寧愿推出產(chǎn)品,讓人們下載,讓人們對其上癮,也不愿做正確的事 —— 事先對這些產(chǎn)品進(jìn)行壓力測試,并關(guān)注普通用戶的困境。”
上周,OpenAI 還就日本動(dòng)漫與游戲產(chǎn)業(yè)的抗議作出回應(yīng)。該國代表性行業(yè)協(xié)會(huì)致信 OpenAI,成員包括宮崎駿創(chuàng)立的吉卜力工作室(Studio Ghibli),以及萬代南夢宮(Bandai Namco)、史克威爾艾尼克斯(Square Enix)等知名游戲開發(fā)商。OpenAI 在聲明中表示:“許多動(dòng)漫愛好者渴望與心儀角色互動(dòng)”,但公司亦已設(shè)置防護(hù)機(jī)制,防止在未獲版權(quán)方授權(quán)的情況下生成知名角色形象。
“我們正與各大工作室及版權(quán)方直接溝通,認(rèn)真聽取反饋,并持續(xù)觀察用戶(包括高度重視文化與創(chuàng)意產(chǎn)業(yè)的日本市場)如何使用 Sora 2。”O(jiān)penAI 在針對該行業(yè)協(xié)會(huì)信函的聲明中如是表示。





京公網(wǎng)安備 11011402013531號