出品｜

作者｜張瑩

編輯｜楊錦

字節跳動的Sora終于來了！

9月24日下午，在字節跳動旗下火山引擎舉辦的AI創新巡展上，火山引擎一舉發布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型，面向企業市場開啟邀測。

目前視頻生成模型賽道擁擠，不僅有Sora，還有Vidu、可靈、Dream Machine等。

稍晚一步的豆包，把競爭力放在了目前視頻生成模型的痛點上——多動作多主體交互和多鏡頭的一致性。

除了豆包視頻生成模型外，火山引擎還發布了音樂模型、同聲傳譯模型，并升級通用語言模型、文生圖模型、語音模型。

數據顯示，截至到9月，豆包大模型的日均 tokens 使用量已經超過1.3萬億，4個月的時間里 tokens 整體增長超過了10倍。在多模態方面，豆包·文生圖模型日均生成圖片5000萬張，此外，豆包目前日均處理語音85萬小時。

字節跳動進軍AI視頻生成

火山引擎總裁譚待在介紹豆包視頻生成模型時稱，“我們在這里面有非常多的技術創新，比如通過?效的DiT融合計算單元、全新設計的擴散模型訓練?法和深度優化后的Transformer結構，這樣讓整個?成視頻的動作更靈動，鏡頭更多樣，細節更豐滿?！?/p>

通過這些技術創新，豆包視頻生成模型可以達到什么效果？

第一，多動作多主體交互。

譚待在現場展示了一則此次發布的模型生成的視頻。該視頻的描述是“特寫?個??的面部，有些??，戴上了?副墨鏡；這時?個男?從畫?右側?進來抱住了她”。

豆包視頻模型完全遵循了這一復雜指令，實現了多動作多主體交互的視頻生成。

多角色互動一直是視頻生成模型的難題，大部分視頻生成模型只能完成簡單指令單一動作。

豆包視頻生成模型的早期版本今年2月就在即夢上應用。早前上手即夢時發現，即夢在遇到多主體也會出現手部畸變、面部不自然等問題。

而此次火山引擎發布的豆包視頻生成模型具有精準的語義理解能力，可以遵從更復雜的prompt，解鎖時序性多拍動作指令與多個主體間的交互能力，或許可以改善這一問題。但在豆包此次發布的宣傳視頻中，豆包視頻模型處理在處理多主體、動作交互時，仍有手部細節處理不到位的問題。

第二，擁有多鏡頭語言。

AI生成視頻往往是單鏡頭的，一旦鏡頭切換就可能出現主體變換的問題。

而?包視頻模型可以讓視頻在主體的?動態與鏡頭中進行炫酷和平滑切換，擁有變焦、環繞、平搖、縮放、?標跟隨等多鏡頭語?，使得生成的視頻不是簡單的PPT動畫。

第三，一致性多鏡頭生成。

多鏡頭切換時難以保持一致性是視頻生成的難點之一。此次發布的豆包視頻生成在一個 prompt 內實現多個鏡頭切換，同時保持主體、風格、氛圍的一致性。

此外，豆包視頻模型還支持黑白、3D 動畫、2D 動畫、國畫等多種風格，1:1、3:4、4:3、16:9、9:16、21:9 等六個比例，適配于各種終端，以及電影、手機豎屏等不同畫幅。

不過目前，新款豆包視頻生成模型還在即夢AI內測版小范圍測試，未來將逐步開放給所有用戶。此次發布的視頻模型還有待市場的大范圍檢驗。

視頻生成模型競爭升級

當前，視頻生成大模型賽道擁擠，國內外企業紛紛發力。

今年2月，OpenAI發布視頻大模型Sora。該大模型可以通過文本指令輸出長達60秒的視頻，演示視頻備受贊嘆。不過現在Sora還沒有向公眾開放，因此被外界調侃為“期貨”。

此后半年，視頻生成大模型集中涌現。先是生數科技在4月份推出Vidu，兩個月后，快手發布視頻生成大模型“可靈”。緊接著，AI初創公司Luma AI也發布了視頻生成工具Dream Machine，Runway推出新的視頻生成模型Gen-3 Alpha。

就在豆包視頻生成模型發布的五天前，阿里在云棲大會上發布通義萬相視頻生成大模型，APP端更是不限次使用。

上述大模型中，Vidu、可靈、Dream Machine、通義萬相等均對外開放，而非“期貨”。

在激烈競爭之下，字節跳動也加入進來。豆包兩款視頻生成大模型的發布，被認為是字節跳動正式進軍AI視頻生成的標志。按照現在的時間來算，豆包入局時間較生數科技、快手等晚了幾個月。

“今天也有朋友問，豆包視頻模型為什么在現在這個時間點推出，我們不是說一定要搶第一，推出一個不是特別好的產品?！?/p>

譚待在與等媒體交流時，解釋了為何此時才發布視頻模型。在他看來，模型是影響未來十年、二十年的長遠的東西，“希望推出的是比較成熟的產品。”

此次推出的豆包視頻大模型，優勢就在于語義理解能力、多鏡頭下的一致性。同時，譚待指出，抖音、剪映對視頻理解和理解，也是豆包視頻生成的一大優勢。

“大模型價格已不再是阻礙創新的門檻”

效果不好、成本太貴、落地太難，是火山引擎智能算法負責人、火山方舟負責人吳迪認為的大模型在業務場景落地的關鍵挑戰。

5月份，字節跳動宣布，豆包主力模型定價比行業平均水平低99.3%，第一個把模型成本做到每千token低于一厘錢，打響了大模型價格戰的第一槍。

隨后，阿里云也宣布阿里云宣布其9款商業化及開源系列模型降價。百度智能云宣布文心大模型的兩款主力模型ENIRE Speed、ENIRE Lite全面免費。2024云棲大會期間，阿里云宣布三款通義千問主力模型再次降價，最高降幅達90%。

在會后的群訪環節中，譚待進一步稱，“我覺得這不是價格戰，而是大家要把應用做起來的時候，要把成本做到一個合理的價格，現在大家已經做到了?！?/p>

對于大模型價格戰打到負毛利的說法，譚待并不完全認同。不過譚待未透露豆包的毛利。

但譚待強調，to b最重要的事情就是可持續，不能像to c一樣“羊毛出在豬身上”，模型免費、靠廣告賺錢是不成立的，to b賣的東西就必須做到正毛利。

譚待在演講中提到，大模型價格已不再是阻礙創新的門檻，隨著企業大規模應用，大模型支持更大的并發流量正在成為行業發展的關鍵因素。

火山引擎披露，截至9月，豆包語言模型的日均tokens使用量超過1.3萬億，相比5月首次發布時增長十倍，多模態數據處理量也分別達到每天5000萬張圖片和85萬小時語音。

據譚待介紹，業內多家大模型目前最高僅支持300K甚至100K的TPM（每分鐘token數），難以承載企業生產環境流量。例如某科研機構的文獻翻譯場景，TPM峰值為360K，某汽車智能座艙的TPM峰值為420K，某AI教育公司的TPM峰值更是達到630K?；诖?，?包Pro默認支持高達800K的初始TPM。

在譚待看來，大模型的應用成本已經得到很好解決?！按竽Ｐ鸵獜木韮r格走向卷性能，卷更好的模型能力和服務?！?/p>