機器之心報道

編輯：Panda

還說 AI 可能會與人類融合……

前些天，OpenAI 前首席科學家 Ilya Sutskever 創(chuàng)立的新公司獲得 10 億美元投資的新聞刷遍了各大新聞頭條，而 OpenAI 的另一位早期成員和著名 AI 研究者 Andrej Karpathy 則正在「AI+教育」賽道耕耘，其創(chuàng)立的 Eureka Labs 公司正在積極打造其第一款產品。

近日，播客節(jié)目 No Priors 發(fā)布了對這位著名 AI 研究者的專訪視頻。

視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650933365&idx=2&sn=bdc17f786ed219a49463c6e0404f6330&chksm=84e7cc0bb390451d3833714d6d18d83f8bd18ca33efd3484fb3ec5b22ecfcc913e0c3ca13af1&token=212787030&lang=zh_CN#rd

來自：No Priors

Andrej Karpathy 曾是 OpenAI 的早期成員之一，之后加入特斯拉領導其自動駕駛的計算機視覺團隊。之后他又回到過 OpenAI，領導著一個專注提升 ChatGPT 的GPT-4 的小團隊。今年 7 月，他宣布創(chuàng)立了一家名為 Eureka Labs 的 AI+教育公司。

在這個節(jié)目中，Andrej Karpathy 分享了有關研究、新公司以及對 AI 未來的期待，其中不乏頗為激進的觀點，比如他認為 Transformer 很快就將在性能上超越人類大腦、我們已經在特定的領域實現(xiàn)了有限的 AGI、AI 會成為人類新的大腦皮層……這些觀點已經在網上引起了不少的討論和爭議。

自動駕駛是 AGI 以及 Waymo vs 特斯拉

首先，Andrej Karpathy 談到了完全自動駕駛汽車。他說自己在自動駕駛領域工作了 5 年時間，也經常將 AGI 與自動駕駛放在一起類比。他說：「我確實認為我們已經在自動駕駛領域實現(xiàn)了 AGI。」因為現(xiàn)在在舊金山等城市已經有了一些付錢就能乘坐的自動駕駛汽車。這實際上已經成為了一種服務產品。

他還分享了自己十年前乘坐 Waymo 自動駕駛的經歷：「十年前一位在那里工作的朋友給我展示了一個 demo，它帶我在街區(qū)繞了一圈。而十年前它幾乎就已經是完美的了，但它還是用了十年時間才從 demo 變成可付費使用的產品。」

他表示，之所以用了這么長時間，一方面是技術原因：demo 和產品之間確實存在巨大差距；另一方面則是監(jiān)管方面的原因。不過要實現(xiàn)自動駕駛的全球化，還有很長的路要走。

至于 Waymo 和特斯拉哪家強？Karpathy 表示：「人們認為 Waymo 比特斯拉領先，但我認為特斯拉領先于 Waymo。」他表示非常看好特斯拉的自動駕駛項目。而對于這兩家公司的問題，他認為特斯拉的問題在于軟件，而 Waymo 的問題是硬件。對比之下，軟件問題其實更好解決。特斯拉的汽車已經在全世界銷售，因此當技術成熟時，特斯拉能更好地實際部署它們。Karpathy 說自己昨天才駕駛過最新的版本，體驗非常好，感覺很神奇（miraculous driving）。

他說 Waymo 目前在自動駕駛方面看起來領先，但如果以 10 年為尺度長遠來看，特斯拉更可能領先。

特斯拉自動駕駛功能演示

我們知道，Waymo 和特斯拉采用了不同的技術方法論：

Waymo 的自動駕駛汽車采用了大量昂貴的激光雷達和各式各樣的傳感器，從而為其軟件系統(tǒng)提供全方面的信息支持。特斯拉則是使用相機，從而能極大地降低系統(tǒng)的復雜性和成本。

對此，Karpathy 表示其實特拉斯也會使用大量昂貴的傳感器，但只是在訓練時這樣做——系統(tǒng)可以借此完成地圖測繪等工作。然后再將其蒸餾成一個測試包，并將其部署到只使用視覺信號的系統(tǒng)中。「我認為這是一個睿智的策略。我認為這種策略的效果能得到證明，因為像素具備足夠信息，其網絡也有足夠能力。」

之后他提到了神經網絡的重要性。一開始的時候，特斯拉的系統(tǒng)中包含大量人工編寫的 C++ 代碼，之后神經網絡的比重越來越大——先是執(zhí)行圖像檢測，然后進行預測，之后更是能發(fā)出轉向等指令。

他表示，特斯拉最終的自動駕駛系統(tǒng)（比如十年之后）就是一個端到端的神經網絡。也就是說，向其輸入視頻，它就直接給出命令。

人形機器人以及機器人公司特斯拉

Andrej Karpathy 在離開特斯拉之前也參與研究過特斯拉的人形機器人。他認為這是將能改變一切的研究方向。

他說：「汽車其實就是機器人。我認為特斯拉不是一家汽車公司。這有誤導性。這是一家機器人公司，大規(guī)模機器人公司，因為規(guī)模也像一個完全獨立的變量。他們不是在制造東西，而是在制造制造東西的機器。」

實際上，人形機器人 Optimus 的早期版本與特斯拉的汽車區(qū)別不大——它們有完全一樣的計算機和攝像頭。在其中運行的網絡也是汽車的網絡，當然其中需要做一些微調，使其適應步行空間。

當伊隆·馬斯克決定做人形機器人時，各種 CAD 模型和供應鏈等等都是現(xiàn)成的，可以從汽車生產線直接拿過來重新配置，就像是電影變形金剛中那樣——從汽車變成了機器人。

至于人形機器人的第一個應用領域，Karpathy 說：「我認為 B2C 并不是一個正確的起點。」他表示特斯拉的人形機器人最好的客戶就是特斯拉自己。這能避免很多麻煩，同時還能檢驗成果。等產品孵化成熟之后，再進入 B2B 市場，為那些擁有巨大倉庫或需要處理材料的公司提供服務。最后才是面向消費者的 B2C 市場。

當被問到為什么要做人形機器人時（因為人形可能并不是完成任務的最佳形態(tài)），他說：「我認為人們可能低估了進入任何單一平臺的固定成本和復雜性。我認為任何單一平臺都有很大的固定成本，因此我認為集中化，擁有一個可以做所有事情的單一平臺是非常有意義的。」

而人形是我們熟悉的形態(tài)，可以幫助研究者更好地判斷操作和采集數(shù)據，畢竟我們人類自身就已經證明了人形形態(tài)的有效性。另外，人類社會也是為人類設計的，人形平臺可以更好地適應這一點。當然，他并不否認這些形態(tài)未來可能發(fā)生變化。

他強調了遷移學習的重要性。不管形態(tài)如何，如果能有一個能遷移到不同形態(tài)的神經網絡，從而繼承原有的智慧和能力，必定會大有用途。

Transformer 可能超越人腦

Andrej Karpathy 稱贊了 Transformer 的獨特之處：「它不僅僅是另一個神經網絡，而是一個驚人的神經網絡。」正是因為 Transformer，規(guī)模擴展律（scaling laws）才真正得以體現(xiàn)。

Transformer 就像是通用型訓練計算機，也就是可微分的計算機。「我認為這實際上是我們在算法領域偶然發(fā)現(xiàn)的神奇事物。」當然其中也有個人的創(chuàng)新，包括殘差連接、注意力模塊、層歸一化等等。這些東西加起來變成了 Transformer，然后我們發(fā)現(xiàn)它是可訓練的，也能具有規(guī)模擴展律。

Karpathy 表示 Transformer 還遠沒到自己的極限。現(xiàn)在神經網絡架構已經不是阻礙我們發(fā)展的瓶頸了，新的改進都是基于 Transformer 的微小變化。現(xiàn)在的創(chuàng)新主要集中在數(shù)據集方面。

互聯(lián)網數(shù)據很多，但 Karpathy 表示這并不是適合 Transformer 的數(shù)據。不過互聯(lián)網上也確實有足夠的推理軌跡和大量知識。現(xiàn)在很多的研究活動都是為了將這些數(shù)據重構成類似內心獨白的格式。

使用合成數(shù)據也能大有助益。所以很有趣的一點是：現(xiàn)在的大模型正在幫助我們創(chuàng)造下一代大模型。

不過他也警告了合成數(shù)據的風險。合成數(shù)據往往多樣性和豐富度不足。為此人們想出了一些辦法，比如有人發(fā)布了一個個性數(shù)據集，其中包含 10 億個不同背景的人物個性。在生成合成數(shù)據時，可以讓這些不同個性去探索更多空間，從而提升合成數(shù)據的熵。

接下來，Karpathy 說雖然 Transformer 和人腦應當謹慎類比，但他認為 Transformer 在很多方面已經超過了人腦。他說：「我認為它們實際上是更高效的系統(tǒng)。它們不如人腦工作的原因主要是數(shù)據問題。」比如在記憶力方面，Transformer 可以輕松記住輸入的序列，而人腦的工作記憶很小，記憶力表現(xiàn)差得多。雖然人腦的工作機制還沒被完全揭示，但可以說它是一種非常隨機的動態(tài)系統(tǒng)。「我確實認為我們可能會擁有比人腦更好的（Transformer），只是目前還沒有實現(xiàn)。」

AI 增強人類以及與人類的融合

AI 能提升人類的生產力和效率，但 Andrej Karpathy 認為 AI 的成就將遠不止此。他引用了喬布斯的名言：「計算機是人類心智的自行車。」

他表示，計算機與人類實際上已經有一點融合了。比如我們隨身攜帶的智能手機，現(xiàn)在許多人完全無法離開手機，否則甚至會感覺自己智力都下降了。另一個例子是導航軟件讓許多人失去了記憶道路的能力，甚至在自家附近也要導航。他表示翻譯軟件也正漸漸讓人們失去直接使用外語溝通的能力。

他說，自己曾看過一個小孩子在雜志進行滑動操作的視頻。我們覺得很自然的技術可能在新一代人眼中并不自然。

但如果要實現(xiàn)更高級的融合，還有一些 I/O 問題有待解決。實際上，Neuralink 就正在做這方面的研究。

他說：「我不知道這種融合會是什么樣子。可能會像是在我們的大腦皮層上再構建額外一層皮層。」不過這個皮層可能在云端。

當然，這又會引發(fā)對生態(tài)系統(tǒng)的擔憂。想象一下，如果你的「新皮層」 是寡頭壟斷的封閉平臺，你肯定不會放心。好在我們也有 Llama 等開放平臺。與加密貨幣社區(qū)的「不是你的密鑰就不是你的幣」類似，Karpathy 表示，「不是你的權重就不是你的大腦」。

現(xiàn)在的大模型參數(shù)過剩

當被問到蒸餾小模型方面的問題，Karpathy 認為當前的模型浪費了大量容量來記憶無關緊要的事情，原因是數(shù)據集沒有經過精細化的調整（curation）。而真正用于思考的認知核心（cognitive core）可以非常小，如果它需要查找信息，它會知道如何使用不同的工具。

至于具體的大小，Karpathy 認為會是數(shù)十億的參數(shù)量，這可以通過對大模型執(zhí)行蒸餾來獲得。這就類似于互聯(lián)網數(shù)據。互聯(lián)網數(shù)據本身可能是由 0.001% 的認知數(shù)據和 99.999% 的相似或無用信息構成的。

當這些模型發(fā)揮作用時，它們并不會孤軍奮戰(zhàn)，而是會協(xié)同合作，各自處理自己擅長的任務。這就像是一家公司，他打了個比方，LLM 們會有不同的分工，有程序員和產品經理等。

Karpathy 的教育事業(yè)

Andrej Karpathy 離開 OpenAI 后一頭扎進了「AI+教育」領域。他說：「我一直是一名教育工作者，我熱愛學習和教學。」他談到了自己的愿景。他認為 AI 領域現(xiàn)在很多工作的目的是取代人，但他更感興趣的是以 AI 賦能人類。

Karpathy 宣布成立「AI+教育」公司 Eureka Labs 的推文

他說：「我正在努力打造一門單一課程。如果你想了解 AI，你只需要看這個課程。」

GitHub 鏈接：https://github.com/karpathy/LLM101n

（但請注意，課程還沒上線。）

他談到自己曾經在斯坦福大學教過二三十門課程，那是最早的深度學習課程，也很成功。但問題是如何將這些課程普及化，讓地球上說不同語言、有不同知識體系的 80 億人都能理解。對于這樣的任務，單一的教師不可能辦到，而 AI 卻能很好地做到這一點，實現(xiàn)真正的一對一教學。這時候人類教師就不必接觸學生了，只需在后端設計課程；AI 會成為教學的前端——它可以說不同的語言，針對學生的具體情況進行教學。Karpathy 認為這是目前可以做到的事情，只是目前還沒人把它做出來。

這是一個已經成熟正待摘取的果實。目前在 AI+教育這一賽道上，AI 已經在翻譯方面卓有成效，而且已經有能力實現(xiàn)實時現(xiàn)場翻譯。

他認為，AI 有望幫助實現(xiàn)教育的普及或者說知識的民主化。

在被問到這門課程大概什么時候上線時，Karpathy 說大概會在今年晚些時候。但他也說現(xiàn)在讓他分心的事情很多，所以也可能會在明年初。

對于現(xiàn)在的孩子們該學習什么，他也給出了自己的建議：數(shù)學、物理學和計算機科學等學科。他說這些有助于提高思維技能。「在這個前 AGI 時代，這些會很有用。」

參考鏈接：

https://www.youtube.com/watch?v=hM_h0UA7upI