極客公園

作者 | 黎詩韻

編輯 | 靖宇

正如外界猜測的那樣，在為期 12 天直播的第三天，OpenAI 正式發(fā)布了文生視頻產(chǎn)品 Sora。

北京時(shí)間 12 月 10 日凌晨兩點(diǎn)，Sam Altman 和幾位 OpenAI 內(nèi)部員工通過直播，展示了 Sora 的功能和實(shí)際用例。繼今年 2 月釋出視頻樣片后，Sora 引發(fā)了全球人工智能界熱潮，此后國內(nèi)外人工智能公司紛紛推出文生視頻產(chǎn)品。而作為這一賽道的開創(chuàng)者，今天 Sora 終于揭開了神秘面紗。

整體來說，Sora 展示的一系列產(chǎn)品功能，表明其在視頻生成的質(zhì)量、功能的獨(dú)創(chuàng)性、技術(shù)的復(fù)雜度等方面，超出了目前的文生視頻產(chǎn)品。

在文、圖生視頻的基礎(chǔ)功能之上，它加入了故事板（相當(dāng)于通過分鏡創(chuàng)作自己的故事）、用文本調(diào)整原視頻、不同場景視頻的融合等功能（相當(dāng)于給視頻直接加特效），整個(gè)產(chǎn)品功能設(shè)計(jì)似乎都在讓視頻更接近創(chuàng)作者的自我表達(dá)、幫助他們完成一個(gè)理想的鏡頭故事。

當(dāng)?shù)貢r(shí)間 12 月 9 日晚些時(shí)候，美國、以及大多數(shù)其他國家的用戶，可以訪問官網(wǎng)體驗(yàn) Sora。它被包含在 ChatGPT Plus、ChatGPT Pro 的會(huì)員訂閱中，無需額外付費(fèi)。其中，Plus 能生成最多 50 個(gè)高級視頻、視頻分辨率最高達(dá) 720p、時(shí)長為 5 秒，而 Pro 則能生成最多 500 個(gè)高級視頻、分辨率高達(dá) 1080p、時(shí)長為 20 秒、還能去水印。

Sam Altman 介紹做 Sora 有三大原因：

一是從工具性角度，OpenAI 喜歡為創(chuàng)意人員制作工具，這對公司的文化很重要；

二是從用戶交互角度，人工智能系統(tǒng)不能只通過文本交互，也應(yīng)該理解并生成視頻，幫助人類使用人工智能。這類似于國內(nèi)大模型公司談到的，「模型每擴(kuò)展一次模態(tài)，用戶滲透率就會(huì)上升。」

三則是從技術(shù)角度，這對 OpenAI 的 AGI 路線圖至關(guān)重要，人工智能應(yīng)該學(xué)到更多關(guān)于世界的規(guī)律，這正是所謂理解物理規(guī)律的「世界模型」。

既要用技術(shù)改變世界，也要用產(chǎn)品促進(jìn)人類創(chuàng)造，這就是 Sora 在做的事情。

01

生成視頻之外，還能分鏡、加特效、無限創(chuàng)作

Sora 最基礎(chǔ)的，首先是文生視頻、圖生視頻功能。

打開主界面，用戶可以查看和管理所有的視頻生成內(nèi)容，并且切換網(wǎng)格視圖、列表視圖，以及創(chuàng)建文件夾和收藏夾，查看書簽等。研究人員稱這個(gè)主界面設(shè)計(jì)，是為了更好地幫助用戶創(chuàng)作故事。

在主頁面的中間底部，是 Sora 的文生視頻、圖生視頻功能。

比如，Sam Altman 先給到文字輸入，「長毛猛犸象在沙漠中行走，廣角鏡頭拍攝」。接著，需要選擇視頻的畫面比、分辨率、時(shí)長（5-20 秒）、以及最終生成的視頻數(shù)量（最多可生成四段以供挑選）等，才能獲得生成的視頻。

最終，可以看到生成的視頻效果非常真實(shí)、有質(zhì)感，且基本遵照了輸入的指令。對于 Sora 視頻生成效果的出色表現(xiàn)，或許人們是不意外的。

輸入「長毛猛犸象在沙漠中行走，廣角鏡頭拍攝」的文字后，Sora 生成了四段視頻 | 圖片OpenAI

但此次，Sora 還發(fā)布了一系列獨(dú)有的、進(jìn)階的的產(chǎn)品功能。在極客公園看來，這些功能基本圍繞視頻的更準(zhǔn)確表達(dá)，也就是通過分鏡、加特效等等方式，讓人們能通過視頻創(chuàng)作出一個(gè)自己想要的故事。

首先是故事板（storyboard），它被研究人員稱為是一種「全新的創(chuàng)意工具」。

從產(chǎn)品設(shè)計(jì)上看，它相當(dāng)于按時(shí)間軸的方式，把一段故事（視頻）切成了多個(gè)不同的故事卡（視頻幀)。用戶只需要設(shè)計(jì)和調(diào)整每張故事卡（視頻幀)，Sora 會(huì)自動(dòng)把它們補(bǔ)成一段流暢的故事（視頻）——這很像電影里的分鏡、動(dòng)畫的手稿，當(dāng)導(dǎo)演畫好分鏡、一個(gè)片子就拍出來了，一個(gè)漫畫師寫好手稿、一個(gè)動(dòng)畫就設(shè)計(jì)出來了。

比如研究人員設(shè)想的第一個(gè)分鏡是，「美麗的白鶴站在小溪中，擁有一條黃色的尾巴。」第二個(gè)分鏡是，「鶴將頭探入水中，并捉出一條魚」。那他做的工作就是，分別創(chuàng)建這兩張故事卡（視頻幀)，并在兩者之間設(shè)大概五秒鐘的間隔。這個(gè)間隔對 Sora 很重要，給了它把兩組動(dòng)作連起來的發(fā)揮空間。

最終，他得到了一個(gè)完整的視頻鏡頭，「美麗的白鶴站在小溪中，它擁有一條黃色的尾巴。接著鶴將頭探入水中，并捉出一條魚。」

通過兩張故事卡（視頻幀)，Sora 生成了一個(gè)完整的故事（視頻) | 圖片OpenAI

更為奇妙的是，在這個(gè)故事板上，創(chuàng)作要素不只是故事卡，也可以是直接的圖片、視頻。也就是說，可以將任意的圖片、視頻拉到故事板上，結(jié)合故事卡，對它進(jìn)行創(chuàng)作。

以視頻為例，研究人員將上述白鶴的視頻切下來導(dǎo)入故事板，進(jìn)行了剪切，這就給視頻的前方和后方留出了繼續(xù)創(chuàng)作的間隙，也就是說可以有新的開頭和結(jié)尾。

這帶來的想象是，故事板可以無限的創(chuàng)作下去。也就是說 Sora 生成的 20 秒視頻，可以被不斷地創(chuàng)造、剪切、創(chuàng)造……直至完全達(dá)到心目中理想的鏡頭。這個(gè)過程就像一個(gè)剪輯師、導(dǎo)演，通過對分鏡設(shè)計(jì)和鏡頭素材的不斷生成剪輯，慢慢剪出自己心中的片子。

和真實(shí)世界中不同，Sora 提供的素材是無限的。而和其他的文生視頻產(chǎn)品不同，Sora 的視頻是可以修改加工的。這使得它生成的視頻一定會(huì)更符合用戶心中的想象、創(chuàng)意。

這似乎正是 Sora 此次產(chǎn)品的核心思路：盡最大可能地，讓生成的視頻符合用戶心中想要的創(chuàng)意。

這樣可以更好理解 Sora 的其他功能，比如可以通過文字直接修改視頻、可以無縫融合兩段不同的視頻、可以給視頻改變畫風(fēng)等，這相當(dāng)于是直接給視頻加「特效」了。而一般的文生視頻產(chǎn)品，可能需要不斷地調(diào)整 prompt（提示詞）、不斷重新生成視頻。

通過調(diào)整文字，用戶可以直接調(diào)整視頻 | 圖片OpenAI

Sora 能將兩個(gè)兩段視頻合并為一段無縫剪輯 | 圖片OpenAI

總的來說，Sora 除了在生成視頻上不出意料的出色表現(xiàn)之外，它還帶來了更獨(dú)有的視頻創(chuàng)作產(chǎn)品功能，相當(dāng)于給視頻加分鏡、剪輯、特效。這意味著，每個(gè)人都有機(jī)會(huì)創(chuàng)作出自己真正想要的表達(dá)，離當(dāng)一個(gè)導(dǎo)演也更近了。

「如果你帶著期望進(jìn)入 Sora，認(rèn)為你只需要點(diǎn)擊一個(gè)按鈕就可以生成一部電影，那么我認(rèn)為你的期望是錯(cuò)誤的。」OpenAI 研究人員說道。

他表示，Sora 是一種工具，允許人們同時(shí)在多個(gè)地方、嘗試多個(gè)想法，嘗試以前完全不可能的事情，「實(shí)際上我們認(rèn)為這是創(chuàng)作者的超級特殊延伸。」

02

服務(wù)大眾還不單獨(dú)收費(fèi)，還是靠底層模型的能力

作為文生視頻賽道的開創(chuàng)者，Sora 的推出時(shí)間算是最晚的。對此，OpenAI 研究團(tuán)隊(duì)表示，為了對 Sora 進(jìn)行廣泛的部署，需要找到讓模型更快、更便宜的辦法。為此，研究團(tuán)隊(duì)做了大量的工作。

在直播中，OpenAI 宣布推出 Sora turbo，這是原始 Sora 模型的新高端加速版本。它具有今年早些時(shí)候 OpenAI 在「世界模擬技術(shù)」報(bào)告中談到的所有功能，此外還增加了從文本生成視頻、動(dòng)畫圖像和混合視頻等功能。這是此次 Sora 產(chǎn)品功能背后的技術(shù)基礎(chǔ)。

看起來相比文字，視頻的推理成本更高，但此次 OpenAI 并沒有單獨(dú)針對 Sora 收費(fèi)。20 美元/月的 ChatGPT Plus 會(huì)員、以及 200 美元/月的 ChatGPT Pro 會(huì)員，都可以使用 Sora。

前者的權(quán)益包括最多 50 個(gè)高級視頻、分辨率達(dá) 720p，時(shí)長為 5 秒，后者的權(quán)益包括最多 500 個(gè)高級視頻、無限普通視頻，分辨率高達(dá) 1080p、持續(xù)時(shí)間為 20 秒、并且下載無水印。

不同會(huì)員對 Sora 的使用額度 ｜ 圖片OpenAI

Sora 對 OpenAI 的意義不止于此。團(tuán)隊(duì)發(fā)現(xiàn)，視頻模型在大規(guī)模訓(xùn)練時(shí)會(huì)展現(xiàn)出許多有趣的新能力，使得 Sora 能夠模擬現(xiàn)實(shí)世界中人、動(dòng)物和環(huán)境的某些方面。「我們的結(jié)果表明，擴(kuò)展視頻生成模型是構(gòu)建物理世界通用模擬器的一條有希望的道路。」

或許正是因此，讓 Sora 盡快被大眾用起來、用數(shù)據(jù)更好地訓(xùn)練世界模型，對于 OpenAI 最終的 AGI 夢想如此重要。

在迭代技術(shù)的路上，也順帶推動(dòng)了人類的創(chuàng)造。

「這個(gè)版本的 Sora 會(huì)犯錯(cuò)誤，它并不完美，但它已經(jīng)到了我們認(rèn)為它將對增強(qiáng)人類創(chuàng)造力非常有用的地步。我們迫不及待地想看看世界將用它來做什么。」締造它的 OpenAI 如此說道。

*頭圖OpenAI