機器之心報道
機器之心編輯部
大模型的下一個形態,不再是人和模型一輪一輪的即時問答了。這可能會是AI技術形態的一個轉折點。
當地時間 7 月 29 日,在美國丹佛舉行的第 51 屆 SIGGRAPH 計算機圖形學會議上,英偉達創始人、CEO 黃仁勛與 meta 創始人、CEO 馬克?扎克伯格進行了一場全球矚目的爐邊談話。

這兩位當今全球科技領域的大佬,既是創始 CEO,又都是生成式 AI 技術的引領者,在長達一個小時的交談時間里既贊美了開源,怒罵了蘋果,又探討了未來生成式 AI 應用的前景,最后還互相交換了皮衣。

這場對話主要圍繞生成式 AI 技術,及其在各種領域上的應用展開。
黃仁勛與扎克伯格談到:生成式 AI 可能將會改變社交媒體的推薦系統,很快系統將根據你的興趣推薦內容。社交媒體可能演化為系統為你綜合當下發生的事情,生成即時創造的內容。隨著模型的通用性增強,我們也可能從此告別在軟件之間跳轉,Facebook 或 Instagram 都統一在同一個 AI 模型中。
當 Llama 3 升級為 Llama 4 以及更高版本時,交互體驗將很快超越與聊天機器人一輪一輪的對話,你給模型一個意圖,它就能處理處理需要長時間思考或執行的任務,這個任務可能需要花費幾個月處理,AI 將在任務完成時向你匯報。
扎克伯格認為,目前基礎模型的研究還在加速,即使基礎模型停止,AI 行業仍有五年的產品創新時間。
提到 meta 為何堅持開源,扎克伯格表示,這源于 PC 時代微軟 Windows 系統的開放。在以手機為代表的智能移動設備崛起后,蘋果的閉源生態讓很多扎克伯格想要創造的功能都中道崩殂,為此扎克伯格甚至爆粗。
同時,扎克伯格和黃仁勛達成了共識:開源并非出于純粹的利他主義,而是一種明智的經營策略。meta 開源其開放計算系統后,成為了行業標準,供應鏈主動對齊 meta 的設計,這種為行業打造整套生態的經驗,實際為 meta 節省了數十億美元。
至于人們更傾向選擇性能最強的通用大模型,還是規模較小的專業模型,在這個問題上,扎克伯格和黃仁勛產生了分歧。黃仁勛選擇直接上最高檔的,「英偉達不在乎節省那幾分錢。我們的目標是最高質量的結果。」
扎克伯格心心念念的「元宇宙」,他也沒放棄。meta 的 AI 和 Llama 項目,以及在增強現實和虛擬現實方面的研發,實際是在構建 Horizon OS—— 一個為混合現實設計的開放操作系統。
他認為下一個計算平臺,將分為智能眼鏡和 VR/MR 頭顯。智能眼鏡將成為下一個「手機」,成為下一代智能移動設備的開端。而 VR、MR 頭顯將成為工作站或游戲機,承擔更高強度的計算任務。meta 正在研發他們理想中的全息 AR 眼鏡,這個眼鏡將綜合超級交互式 AI,并擁有時尚的外觀,在日常起到一個造型上的作用。
談話最后,黃仁勛自問自答了一個問題:「生活在整個計算堆棧都在重塑的時代。我們如何看待軟件?」最讓他感到興奮的是 Jensen AI 出現的可能,根據本人復刻一個 AI 智能體,并能在對話中不斷微調。這場對談中,小扎也描述了相同的愿景。meta 正在策劃 Creator AI 和 AI Studio,這種產品將讓每個人都可以根據自己的需求定制個性化的 AI Agent。
字幕由AI識別,僅供參考
以下是本次對話的全程文字記錄:
黃仁勛:Mark,歡迎你第一次來 SIGGRAPH!你敢信嗎?這位是計算領域的先驅、引領者之一,我都得請他來 SIGGRAPH,非常感謝你來捧場。
扎克伯格:其實我已經在會場里轉了五個多小時了。
黃仁勛:這可是 SIGGRAPH,你知道這里 90% 的人都是 PhD。說到為什么 SIGGRAPH 如此重要,這是一場有關計算機圖像、圖像處理、人工智能和機器人技術的盛會。多年來,有很多公司都會在這里討論、吸收新的研究,從迪士尼、皮克斯、Adobe、Epic Games,當然也包括英偉達。
今年我們在這屆大會上有 20 篇論文入選,主要是人工智能和模擬方向的。AI 可以幫助我們更快模擬出更大規模的物理環境,例如可微物理,我們正在使用模擬方法來為合成數據創建模擬環境。我們為我們所做的感到自豪。
說到 meta,你們在 AI 領域里做的事舉世皆知。我覺得有趣的一件事是,看看媒體是如何報道 meta 最近幾年投身 AI 的情況的 —— 包括 FAIR 做的那些事情。我們都在使用來自 meta 的 PyTorch。你們在計算機視覺、語言模型、實時翻譯等等方面,做了很多具有開創性的工作。
我的第一個問題是,你如何看待今天生成式 AI 和 meta 的進步?你如何應用它來增強你們的運營或引入你提供的新功能?
扎克伯格:meta 大概在 8 年前開始進入 SIGGRAPH 大會,相比英偉達我們屬于新手。
黃仁勛:你們是參與者,這是我的地盤。
扎克伯格:那肯定,歡迎你邀請我來你的地盤(笑)。我記得早在 2018 年,我們就展示了一些早期的手勢追蹤工作,用于我們的 VR 和混合現實頭戴設備。我想我們已經討論了很多我們在編解碼器頭像方面取得的進展,我們希望能夠從消費者頭戴設備中驅動照片級逼真的頭像,我們離這個目標越來越近了。我們對此感到非常興奮。
此外,我們還完成了許多顯示系統工作,一些未來技術的原型和研究,以使混合現實頭戴設備能夠變得非常薄。我希望有相當先進的光學堆棧和顯示系統,即集成系統。這些是我們通常在這里首先展示的東西。
今年能來到這里真是太高興了,我們不僅要討論元宇宙的東西,還要討論所有人工智能的東西,就像你說的,我們創辦了人工智能研究中心 FAIR,那時候是 Facebook,現在是 meta,之后我們創辦了 Reality Labs。我們在這個領域已經做了一段時間。
所有關于生成式 AI 的東西,這可以說是一場有趣的革命,我認為它最終會以一種有趣的方式使我們生產的所有不同產品變得不同。看看我們已經擁有的產品線。比如,信息流和推薦系統,還有 Instagram 和 Facebook。我們一直處于這樣的旅程中,它從單純的與朋友聯系發展而來,Ranking 始終很重要,因為即使你只是關注朋友,如果有人做了一些非常重要的事情,比如你的堂兄生了孩子,你肯定希望這樣的信息被放在最頂端。如果它被埋在你信息流的某個角落,你會對我們非常生氣。
因此推薦排名很重要,但在過去幾年中,排名已經發展到這樣的地步:排名中的大部分內容只是不同的公開內容。因為現在來自好友的潛在候選帖子不只有幾百或幾千條,而是數百萬條。這就變成了一個非常有趣的推薦問題。有了生成式人工智能,我覺得我們很快就會進入一個新階段,到那時,你在 Instagram 上看到的內容,將不再只是那些你關注的人發布的東西。相反,系統會根據你的興趣,推薦給你那些你可能感興趣的內容,哪怕這些內容的發布者并不是你關注的人。
我認為,未來許多內容也將通過這些工具來創造。其中一些是創作者使用這些工具來創造全新的內容。還有一些,我認為最終將是為你即時創造的內容,或者通過現有的不同事物進行匯集與綜合。這只是一個例子,說明我們正在做的事情的核心部分將會不斷發展,而且它已經發展了 20 年。
黃仁勛:有一些人認為,全世界迄今為止最大的計算系統之一就是推薦系統。
扎克伯格:是的。這是一條完全不同的道路,它并不像人們討論的東西那樣有關注度。大家都在討論 transformer 架構,討論的都是類似的東西,只是在構建越來越通用的模型。
黃仁勛:將非結構化數據嵌入到特征中。
扎克伯格:是的,推動質量改進的一大因素是:過去你會為每種類型的內容使用不同的模型。最近的一個例子是,比如我們有一個模型用于對短視頻進行排名和推薦,另一個模型用于對更長的視頻進行排名和推薦,然后進行一些產品工作,基本上使系統可以顯示任何內容。但是,你創建的可以涵蓋所有內容的通用推薦模型越多,它就會變得越好。
我的意思是,這背后的一部分邏輯其實與經濟學原理相似,即內容的流通性和可獲取性。當你能夠從更廣闊的資源庫中汲取內容時,就不會再遇到在不同內容源之間轉換時出現的那些令人困惑的效率問題。隨著模型變得越來越大、越來越通用,它會變得越來越好。我夢想有一天,你可以想象整個 Facebook 或 Instagram 都像一個 AI 模型,將所有不同的內容類型和系統統一在一起,這些內容類型和系統實際上在不同的時間范圍內有不同的目標。因為其中一些只是向你展示,比如你今天想看哪些有趣的內容。但還有一些內容是在幫助你構建你的長期社交網絡,對吧?比如你可能認識的人或者你可能想要關注的賬戶。
黃仁勛:這些多模態模型往往更擅長識別模式和弱信號等。所以人們總是會說,人工智能在 meta 如此深入,這很有趣。你們一直在構建 GPU 基礎設施,運行這些大型推薦系統。
扎克伯格:其實我們應用 GPU 的速度在業界來看有點慢。
黃仁勛:你是我請來的嘉賓,我只是想努力表現得友善一些。
扎克伯格:是的,太友善了(笑)。剛才在后臺的時候,你還在說要承認錯誤什么的。
黃仁勛:你不必突然主動說出來。
扎克伯格:我認為我們已經嘗試過了。很快就取得了突破。
黃仁勛:你們是不鳴則已,一鳴驚人。現在,生成式 AI 最酷的地方在于,當我使用 WhatsApp 時,我感覺自己正在與 WhatsApp 合作。我喜歡想象自己是專業打字員,它會在我打字時生成圖像。如果我回去改寫我的單詞。它會生成其他圖像。比如「中國老人在日落時分和三只狗一起享受一杯威士忌,分別是金毛獵犬、金毛貴賓犬和伯恩山犬。」AI 會生成一張非常漂亮的照片。
扎克伯格:過去一周我花了很多時間和我的女兒們在一起,把她們想象成美人魚之類的。這很有趣。是的,這是生成式 AI 的一方面。很多新一代人工智能的東西,我認為它將是我們長期以來擁有的所有工作流程和產品的重大升級。另一方面,我們可以創造出很多全新的東西。
在 meta,我們希望提供一個可以幫你完成不同任務的 AI 助手,在我們的世界中,它將非常具有創造性,就像你說的。但它也是通用的。隨著時間的推移,它將能夠回答任何問題。
我認為,當我們從 Llama 3 標準模型轉向 Llama 4 及更高版本時,我認為它不會再像聊天機器人 —— 你給它一個提示,它就會回應,一輪一輪交互對話。我認為它會很快進化,只要你給它一個意圖,它能夠去執行多個時間框架的任務(可以處理需要長時間思考或執行的任務,而不僅僅是即時響應)。
如果我所想的一些事情最終能夠實現,它將啟動需要大量計算資源的任務,這些任務可能需要幾周、幾個月甚至更長時間來完成。然后它會在某個時刻回來向你報告結果,就像世界上發生了某件事情一樣。我認為這將是非常強大的。
黃仁勛:當今的人工智能是回合制的。你說了什么,它就會給你回復。但顯然,當我們思考時,當我們被賦予任務或問題時,我們會考慮多種選擇,或者我們會想出一個選項樹,一個決策樹,在腦海中模擬可能做出的每個決定的不同結果。所以說我們在做規劃。在未來,AI 也會做同樣的事情。
當你談到 Creator AI 的愿景時,我感到非常興奮。坦率地說,我認為這是一個炸裂的想法。能不能向大家詳細介紹一下 Creator AI 和 AI Studio。
扎克伯格:我認為不會只有一個人工智能模型。這正是業內其他一些公司正在做的事情,他們正在建立單個的中央智能體。
當然,你將獲得一種 meta AI 助手。但我們的愿景是讓所有使用我們產品的人都能為自己創建智能體。無論是平臺上的數百萬創作者,還是數億小企業,我們最終都希望能夠收集所有內容,并快速建立一個業務智能體,讓它能夠與你的客戶互動,進行銷售和客戶支持等。因此,我們現在開始推出的一款產品是 AI Studio,它是一套最終會讓這個設想運轉起來的工具。每個創作者都可以構建自己的 AI 版本,可以與之互動的智能體或助手。
它解決的是一個根本問題,就是每個人的時間都不夠用。如果你是一個創作者,你想更多地與你的社區互動,但你的時間有限。同樣,你的社區也想與你互動。所以未來最好的辦法就是讓人們只負責創造。它有點像一個智能體,但它是根據你的材料來訓練的,以你希望的方式代表你。我認為這是一種非常有創意的努力,就像你創作并發布在社交媒體上的藝術作品或內容一樣。需要明確的是,這不是與創作者本人直接互動,而是通過智能體來進行。但我認為這將是另一種有趣的方式,就像創作者在這些社交系統上發布內容一樣,能夠通過這些智能體來進行互動。
同樣,我認為未來人們會創建自己的智能體,用于各種不同的用途。有些是他們想要完成的定制實用功能,他們希望對智能體進行微調和訓練。有些是娛樂。人們創造的一些東西很有趣,有些很傻,或者對某些事情有種有趣的態度,我們可能無法、可能不會將其作為助手構建到 meta AI 中,但看起來人們非常有興趣看到它們并與之互動。
一個有趣的用例是人們使用這些智能體來提供支持。有一件事讓我有點驚訝,那就是 meta AI 的主要用例之一是,人們讓它來扮演他們將要遇到的困難社交場合。比如我想問我的經理,我如何獲得晉升或加薪?或者我和我的朋友吵架了,或者我和我的女朋友遇到了困難的情況,這場談話該怎么進行?
這是一個完全無法預知的區域,你可以在其中進行角色扮演,看看談話將如何進行,并獲得反饋。但我認為,很多人不想只與同一種智能體互動,無論是 meta AI 還是 ChatGPT,或者人們在使用的其他任何東西,他們想創造自己的東西。所以這就是 AI Studio 的大致目標。但我想,這只是我們更大愿景的一部分,我們認為不應該只存在一種人們與之互動的大型 AI。如果存在多樣性,世界將會變得更美好、更有趣。
黃仁勛:我覺得這真的很酷。如果你是一位藝術家,并且擁有自己獨特的風格,你可以利用你的風格和你所有的作品來微調一個 AI 模型。這樣,這個模型就能根據你的風格來創作。你可以來使用這個 AI,向它發出指令。比如,你可以要求它根據我所擁有的藝術風格來創作一些東西。你甚至可以給我一幅畫作或者草圖作為靈感,我可以基于這些為你生成新的藝術作品。你可以來找我的 AI 機器人,或者直接使用我的 AI 來進行這樣的創作。
在未來,可能每一個餐廳、每一個網站都會擁有這樣的 AI,它們能夠根據用戶的需求和喜好提供個性化的服務和內容。
扎克伯格:是的,我認為在未來,就像每個企業都有一個電子郵件地址、一個網站、一個或幾個社交媒體賬戶一樣,在未來,每個企業都會有一個與客戶互動的人工智能智能體。
在過去,有些事情是很難做到的。比如,如果你觀察任何一家公司,你可能會發現客戶支持部門與銷售部門是分開的,而這并不是你作為 CEO 所希望的。只是「好吧,它們是不同的工種」。
當你是 CEO 時,你必須做所有的事情。當你將抽象概念融入組織時,一般來說,組織是分開的,因為它們針對不同的事情進行了優化。但我認為柏拉圖式的理想是,應該面向客戶去構建。你知道,當你試圖購買某物時,你不想面前出現不同的購買方法,如果你在購買某物時遇到問題,你只希望有一個可以去回答問題的地方,并能夠以不同的方式與企業互動。我認為這也適用于創作者。
黃仁勛:這種與客戶的互動,尤其是處理他們的投訴,將使你的公司變得更好。事實上,與人工智能的這種互動將捕捉到公司的機構知識以及如何處理問題,所有這些都可以用于分析,進而改進人工智能,如此循環往復。
扎克伯格:因此,從商業角度來看,我認為這需要更多的整合,我們仍處于早期階段。但 AI Studio 可以讓人們創建自己的 UGC 智能體和其他東西,并開始啟動這個由創作者創建智能體的飛輪效應。我對此感到非常興奮。
黃仁勛:我可以使用 AI Studio,用我的圖像集對模型進行微調嗎?
扎克伯格:當然可以,我們會提供這種能力。
黃仁勛:好的。然后我可以把我寫的所有東西都加載到 AI Studio 上,這樣它就可以作為我的復制體了?
扎克伯格:當然。
黃仁勛:然后每次我回到它的時候,它都會再次加載內容。所以它會記得上次停在哪里。我們繼續我們的談話,就像什么都沒發生過一樣?
扎克伯格:是的,就像任何產品一樣,隨著時間的推移,它會變得更好。訓練工具也會變得更好。這不僅僅關乎你想讓它說什么。我認為一般來說,創作者和企業都有工作的優先級。所以在所有這些方面都會變得更好。
我認為柏拉圖版本的 AI 不僅僅是文字,而是包括你能想象到的每一點,這與我們長期以來一直在做的 Avatar 工作有些交集。你希望能夠與智能體進行視頻聊天,我認為我們會隨著時間的推移實現這一點。
我不認為這些東西離我們還有那么遠,技術的飛輪旋轉得非常快。所以,這很令人興奮,有很多新東西需要建造。我認為,即使基礎模型的進展現在停止了(我認為不會停止),我們也會有五年的產品創新時間,讓行業從頭弄清楚如何最有效地利用迄今為止建造的所有東西。但實際上,我認為基礎模型和基礎研究的進展正在加速,這是一個相當瘋狂的時代。
我得說,是你讓這些變成了可能。
黃仁勛:謝謝!你知道,我們是 CEO,我們是嬌嫩的花朵,需要更多的鼓勵。
扎克伯格:到這個時候,我們已經相當老練了。我想我們倆是這個行業里堅持得最久的兩位創始人,對吧?
黃仁勛:是的。
扎克伯格:你看你的頭發已經花白,我的只是在長長。
黃仁勛:是啊,我的頭發變白了,你的頭發變卷了。怎么回事?
扎克伯格:一直都這么卷,我只是經常打理。
黃仁勛:如果我當初知道成功之路這么漫長……
扎克伯格:那你可能當初根本就不會走這條路。
黃仁勛:不,我可能會像你一樣,提前離開大學。
扎克伯格:不過我們之間的性格差異很大。
黃仁勛:你事業起步提前了 12 年,這進度快多了。(譯注:黃仁勛 1984 年在俄勒岡州立大學本科畢業后,曾在 AMD 等公司工作;扎克伯格在哈佛大學讀本科時創辦了 Facebook,隨即肄業)
扎克伯格:但你做到的事情很棒。
黃仁勛:好吧,過去的事就讓它過去吧。所以,我喜歡你的愿景,即每個人都可以擁有一個人工智能,每個企業都可以擁有一個人工智能。在英偉達,我希望每個工程師和每個軟件開發人員都擁有一個人工智能,而且有很多人工智能。
我喜歡你的愿景的一點是,你還相信每個人和每家公司都應該能夠制造自己的人工智能。所以你實際上是開源的。當你開源 Llama 時,我認為這很棒。順便說一句,我認為 Llama 2 可能是去年人工智能領域最大的事件。
扎克伯格:我覺得(最大的事)是 H100 啊。
黃仁勛:這是一個先有雞還是先有蛋的問題。
之所以說 Llama2 是最大事件,是因為當它出現時,它激活了每家企業和每個行業。突然之間,每家醫療保健公司都在開發人工智能。每家大公司、小公司、初創公司都在開發人工智能。這使得每個研究人員都能夠重新參與人工智能,因為他們有一個可以做某事的起點。
現在 Llama 3.1 已經發布,大家興奮不已,你知道嗎,我們一起努力部署 Llama 3.1。我們正在將其推向全球企業,這令人興奮不已。我認為它將支持各種應用程序。
談談你的開源理念吧。你開源了 PyTorch、Llama 3.1 以及 Llama 系列,你已經建立了一個完整的開源生態系統,但你一開始是怎么想的?
扎克伯格:在開源方面,meta 的起步算比較「落后」吧。meta 開始構建分布式計算基礎設施和數據中心時,已經有其他科技公司有所布局了,因此在當時,這不能算是 meta 的競爭優勢。于是不妨直接開源了,然后 meta 從圍繞它的生態系統中受益,其中最大的項目應該是開放計算,meta 公開了服務器設計、網絡設計,連最終的數據中心設計都公開了。這些設計成為行業標準后,所有的供應鏈基本上都按 meta 的標準來,因此,實際上開源為 meta 節省了數十億美元。
黃仁勛:開放計算也使得 Nvidia HGX 系統能和每個數據中心適配。
扎克伯格:感謝英偉達帶來的美妙體驗。在開放計算嘗到甜頭之后,我們在基礎工具類,例如 PyTorch,也采取了類似的開源策略。因此,當 Llama 項目啟動時,meta 在 AI 模型開發方面自然傾向于主動開源。
對于 meta 的開源,還要從以下幾個角度來看待。首先,meta 的產品不得不面對這樣一個事實:我們通過競爭對手的移動平臺來分發自己的應用程序。在智能手機操作系統的競爭中,蘋果以其封閉的生態系統占據了市場的主導地位,游戲規則都是蘋果說了算。雖然從數量上看,Android 手機更多,但蘋果基本控制了整個市場和所有利潤,Android 其實是在追隨蘋果。然而,回顧 PC 時代,雖然微軟顯然不是一個完全開放的公司,但與蘋果相比,Windows 系統可以在所有 OEM、所有不同的軟件、硬件上運行,是一個更加開放的生態系統。Windows 是領先的生態系統。在 PC 時代,開放的生態系統才是主導。
因此,我希望在下一代計算中,開放的生態系統能獲勝,再次回歸,成為主導潮流。
不過,我相信開源和閉源兩種模式各有其優勢。我并不是非常狂熱的開源主義者,也并非所有 meta 的產品都開源。然而,對于整個行業共同構建的計算平臺,開源無疑意義非凡。meta 的 AI 和 Llama 項目,以及在增強現實和虛擬現實方面的研發,實際是在構建 Horizon OS—— 一個為混合現實設計的開放操作系統,就像 Android 或 Windows 一樣,它能夠支持各種硬件廠家,生產各種各樣的設備。我們只是想將生態系統恢復到這種開放水平。
我堅信開源終將獲勝。雖然這話有點自私,但是在經歷太多次想要構建某某功能,卻被平臺的 fxcking 限制掣肘之后,我只想在未來的 10-15 年內,確保底層技術能夠把握在自己手里。
黃仁勛:考慮一下我們的節目還要播出啊......
扎克伯格:不好意思,一談到蘋果閉源這個話題,我就怒了,后期幫我「嗶」一下吧。
黃仁勛:無論如何,開源確實是一項偉大的事業。世界上最杰出的人才致力于打造最好的人工智能系統,并將其作為服務無私地提供給全世界。同時,如果你想要構建自己的人工智能,開源也賦予了你這樣的能力。就像我不會自己做我身上這件皮衣,而是買別人做的成品。這種服務的價值不可估量。特別是你們的 Llama 3.1 版本,你們推出了 405b、70b、8b 不同規模的模型,可以用更大的模型來提升小模型。并且你們還設置了 Llama Guard 用作模型的護欄。因此,現在 meta 構建模型的方式完全透明,確保了每個使用者都能夠清晰地了解如何正確地使用模型,我非常欣賞這一點。
扯遠了,我們之所以呼吁開源,是因為它必須存在,來擺脫某些封閉模型的限制。但開源軟件的建設并非一人或一家公司之力所能及,它依賴于一個完整的生態系統,這本質上就需要開放和協作。如果它不開源,可能根本無法有效運作,不是嗎?我們選擇開源,并非出于純粹的利他主義,而是開源將助力自己的產品擁有強大的生態系統而變得更加出色。看看大家對 Pytorch 生態系統的貢獻,就足以證明這一點。比如 Nvidia,就有數百名專業人員全心投入,致力于讓 Pytorch 不斷進步,變得更強大、更可擴展、更高效。
扎克伯格:當你成為行業標準時,自然而然地,行業里的其他人將按你的標準工作,開源是一個非常好的商業策略,但我認為有些人實在是沒想明白。不過,英偉達每次都能跟上最新發布的 AI 模型,提供專業的支持和優化。
黃仁勛:沒錯,我是一個特別樂于提供支持的人。雖然我已經老了,但反應還算敏捷,這是一個 CEO 的必備素養。我真心地覺得 Llama 系列至關重要。英偉達提出了一個名為「AI 工廠」的概念。很多公司有應用 AI 的需求,但是他們不懂如何把公司的業務和數據「喂」給 AI,于是英偉達提供工具與專業知識,依托 Llama 技術,幫助他們實現這一目標。這就是 NIM(Nvidia Inference Microservices)云原生微服務,NIM 可將模型作為優化的「容器」,這些容器可部署在本地、云端、數據中心或工作站上,開發人員可以在任何地方隨時打開隨心使用。英偉達打造了一個包括 OEM 以及埃森哲這樣的全球系統集成商(GSI)在內的合作伙伴系統,他們可以運行 NIM 并創建基于 Llama 的工作流。這個激動人心的項目能成型,都得益于 Llama 的開源。
扎克伯格:是的,我認為幫助人們從大模型中提煉出他們所需的專有模型,將是真正有價值的新事物。但我不認為會有一個通用的 AI 智能體出現。
黃仁勛:我同意你的觀點,我也不認為會有一個能解決所有問題的 AI 模型。比如英偉達有一個專用于芯片設計的 AI、還有能理解 USD 的軟件編碼 AI、還有會寫 Verilog 的 AI...... 每個專用的 AI 都是在 Llama 基礎上微調出來的。我相信未來每個公司都將擁有定制化的專用模型。
扎克伯格:未來還將面臨一個大問題:人們是會選擇更大、更復雜的通用模型?還是傾向于訓練定制化的專有模型?我打賭是后者,大量不同的模型將迅速涌現。
黃仁勛:但是英偉達選擇了大的通用模型。因為工程師的時間太寶貴了。目前我們正在對 4-5 百億參數的模型進行性能優化。眾所周知,這么大的模型無法適配任何單一的 GPU。這也正是 NV link 高性能連接的重要性所在。英偉達的每個 GPU 都通過 NV link Switch 相互連接。例如,在 HGF 架構中,就有兩個這樣的交換機,它們使得所有 GPU 能夠協同工作,實現真正的高性能。之所以選擇最大、性能最優的模型,還是因為工程師的時間極其寶貴,即便這會增加一些成本,但我們不在乎節省那幾分錢。我們的目標是確保為工程師提供最高質量的結果。
扎克伯格:這個級別參數量的 Llama 模型的運行成本,大約是 GPT-4o 的一半。所以在這個層面上,你們的決定還挺好的。但我想說的是,人們需要蒸餾出能夠在某些設備上運行的較小的模型,這是另一套模式。
黃仁勛:讓我來算一筆賬,英偉達雇一個專門負責設計芯片的 AI 時薪 10 美元,但是它可以共享,相當于給每個工程師配備一個助手。這個成本,并不算很高,而我們給工程師的工資那可是相當高,而 AI 可以做到每小時只花幾美元就增加一個「超能力員工」。
扎克伯格:老黃,您沒有必要非得說服我。
黃仁勛:如果你還沒雇 AI,那還不趕緊去!我們換個話題聊,讓我們談談下一個浪潮。我們內部經常用你們「分割一切」的模型。訓練視頻模型,從而增進我們對物理世界的理解,增進機器人與工業場景的應用,這也是英偉達正在積極推進的領域。能不能分享更多 meta 在計算機視覺方面的想法,比如 Ray-Ban meta 智能眼鏡等等。
扎克伯格:說到這里,我有太多存貨等著「上新」了。就在 SIGGRAPH 現場,我們即將發布 Segment Anything Model 2 (SAM 2) 。這回視頻內容也能被分割了,視頻里正在分割的好像是我在夏威夷的牧場里養的牛。

黃仁勛:順便提一嘴,它們的名字叫「小扎的美味牛」(delicious Mark’s cows)。之前你來我家,咱倆煎過菲力牛排。下次再來的時候,你就帶上你這張圖里分割出來的牛。
扎克伯格:我是一個超棒的副主廚。
黃仁勛:這個評價是誰給你評的?
扎克伯格:我去你家做客,到午夜了。你說:「你吃飽了吧?」我回答:「不知道啊,我大概還能再吃點吧。」你震驚了,來了句:「真的嗎?」
黃仁勛:小扎,你不會不知道吧?一般情況下,別人問你吃飽沒,一般人都會捧著肚子說:「我吃飽了。」
扎克伯格:(我可不和你客氣)我會說:「再給我做一整個芝士蛋糕!老黃!」
黃仁勛:讓我給大家展示一下馬克?扎克伯格的「強迫癥」有多嚴重。所以我正在準備芝士蛋糕,我說:「小扎,切一下西紅柿。」接著,我把刀遞給了小扎。
扎克伯格:我是一個很強的刀具能力者。
黃仁勛:他切西紅柿每一個都完美地精確到毫米。我原本以為所有的西紅柿都會被切成片。但當我轉過身時,他說他需要另一個盤子。原因是他切的所有西紅柿,一旦他把一片西紅柿和另一個西紅柿分開,他就要把一片放在另一個盤子里,再也不讓西紅柿接觸彼此了。
扎克伯格:如果你想讓切好的西紅柿互相接觸,你就提需求呀!我是一個大廚好吧。
黃仁勛:這就是他造出來一個不會評價別人的 AI 的原因!
扎克伯格:(無語





京公網安備 11011402013531號