機器之心報道

編輯：冷貓、Panda

「安靜！吵到我用 TNT 了！」

長期關(guān)注科技圈的朋友們都知道，羅永浩的錘子科技落幕已經(jīng)七年。七年間，仍有無數(shù)錘科粉絲保留著舊手機備用，懷念手機圈當年的「銳利異類」，以至于錘子手機仍然有百萬日活用戶。

而錘子科技，羅永浩最大的愿景和遺憾，莫過于號稱「重新定義下個十年的個人電腦」，以及鬧出了科技圈永生?！咐斫馊f歲」的 TNT。

給不熟悉的讀者朋友們簡單介紹下：TNT 全稱 Touch&Talk，通過觸控 + 語音的方式操作設(shè)備。

在那個 AI 尚顯稚嫩的年代，這被視為一種激進的賭博；但在大模型爆發(fā)的今天，我們驚訝地發(fā)現(xiàn)：最高效的手機操作方式，恰恰就是 TNT 構(gòu)想的那樣：按住屏幕把需求說出來，設(shè)備自動完成一切。

近些天，豆包手機（豆包手機助手技術(shù)預(yù)覽版）爆火，讓能夠操作手機的 AI Agent 走入了大眾視野。Agent 借助大模型和自動操作系統(tǒng)的設(shè)計，讓用戶憑借自然語言和語音輸入，就能自然實現(xiàn)通用的、跨任務(wù)的復(fù)雜操作。

也因此，人們在震驚于現(xiàn)今大模型 GUI Agent 能力強大之余，也不禁擔心個人數(shù)據(jù)上云的隱私權(quán)限問題，幾大國民級 App 也都限制了豆包手機助手的訪問，再加上搭載豆包的手機一機難求……

除了被大廠生態(tài)裹挾，我們有沒有另一種選擇？有沒有一個既能一句話搞定繁雜任務(wù)，又能將隱私握在自己手里，甚至人人都能 DIY 的 GUI Agent？

有的兄弟，有的，而且是來自深耕智能體的智譜的明星項目：AutoGLM

就在前天，AutoGLM 正式全面開源

豆包手機之所以遭到所有大廠圍剿，因為 AI 手機很可能是下一個時代的流量入口。智譜這波開源直接把能力交給了所有人手上，一己之力把 AI 原生手機的門檻給打平了。

為開源精神點贊！

具體來說，Open-AutoGLM 由一個手機端智能助手框架Phone Agent和一個 9B 大小的模型AutoGLM-Phone-9B共同組成。

開源地址：https://github.com/zai-org/Open-AutoGLM

從第一個 AI 發(fā)出的紅包說起

這次開源對行業(yè)的影響力，核心來自這次智譜開源的不是一個普通的 GUI agent 模型，而可能是行業(yè)最好的模型。

智譜是第一個開始可操作智能體研究的廠商。

時間回到 32 個月前的 2023 年 4 月，智譜就已經(jīng)開始從零探索 AutoGLM，目標是打造一個不僅能「說」，還能「做」的智能體模型。

2024 年 10 月，AutoGLM 面世爆火，被業(yè)界公認為是全球第一個可以真正操控手機的 Agent，迄今也是全球完成度最高的 GUI Phone Use 模型。不是模擬，不是腳本，而是像人一樣去「看屏幕」，去分析 UI 布局，然后模擬手指進行點擊與滑動。AutoGLM 這個 Phone Use 能力的誕生，是「AI 會用工具」的關(guān)鍵里程碑。

一個月后，它做了一件前所未有的事情：AutoGLM 完成了人類歷史上第一個由 AI 全自動發(fā)出的紅包。

這個紅包意味著大模型「從 Chat 到 Act」的范式轉(zhuǎn)變，語言不再停留在語言本身，而能驅(qū)動行動、執(zhí)行任務(wù)。

但我們很快意識到：會動手的 AI，就像剛拿到第一部智能手機的小孩 —— 強大，但也危險。如果它在不該點的地方亂點怎么辦？如果某個用戶的真實手機被誤觸隱私應(yīng)用怎么辦？

于是到了 2025 年 8 月，智譜做了一個關(guān)鍵決定：先把 AutoGLM 放進云端的「虛擬手機」里

AutoGLM 2.0 云機版，把 AI 的行動舞臺與用戶真實手機完全隔離。它看到的屏幕、能執(zhí)行的點擊，都發(fā)生在一臺安全的虛擬設(shè)備上。涉及隱私的 App，比如微信，則選擇不開放 —— 不是做不到，而是智譜希望它「先學(xué)會規(guī)則，再學(xué)本事」。

Phone Agent 的實現(xiàn)，依賴于 AutoGLM 的視覺-語言模型。通過理解手機屏幕內(nèi)容、解析 UI 狀態(tài)，結(jié)合智能規(guī)劃能力，它能自主完成整套操作流程。

這背后的實現(xiàn)說簡單也簡單，說復(fù)雜也復(fù)雜。它由三大核心技術(shù)組成：

1.ADB（Android Debug Bridge）：手機的「控制器」

AutoGLM 接入安卓系統(tǒng)的 ADB 開發(fā)者調(diào)試，負責把控制信號送到設(shè)備上，實現(xiàn)基本的點按滑動等操作。

2.視覺-語言模型（VLM）：AI 的「眼睛 + 大腦」

它能理解手機屏幕上的文本、按鈕、圖標，識別，操作和實時反饋。

3.智能規(guī)劃：任務(wù)拆解的「策劃師」

它能將自然語言任務(wù)拆解為可執(zhí)行步驟，你說一句「發(fā)紅包給小李」，AI 會自動補全背后的十幾步操作鏈：打開 App、找到聯(lián)系人、選擇金額、確認支付……

AutoGLM 把這三項能力打包成一個完整執(zhí)行框架，「AI 會用手機」的概念已經(jīng)在諸多測試中保證了穩(wěn)定和實用。

一手實測

Open-AutoGLM 究竟有多強？

理論說得再多，不如實戰(zhàn)。下面我們就來看看開源版的 AutoGLM 表現(xiàn)究竟如何。

首先，來一個簡單任務(wù)：發(fā)微信。發(fā)送以下指令：

給 wupan 發(fā)個微信，就說 Panda 的生日快到了，準備個蛋糕，多點水果。

可以看到，系統(tǒng)啟動后，Open-AutoGLM 首先進行了一波「自檢」，確認 API 和系統(tǒng)權(quán)限無誤。在這里，我們可以看到智譜給 Phone Agent 的描述：「AI-powered phone automation」，即「AI 賦能的手機自動化」。

接下來，AutoGLM 會回到任務(wù)本身。思考為了完成這個任務(wù)，第一步應(yīng)該執(zhí)行什么。在終端界面，我們能清晰地看到它的思維鏈（CoT）：

觀察：當前在桌面。思考：任務(wù)是發(fā)微信，第一步需要找到并打開微信。行動：點擊微信圖標。觀察：進入微信列表頁。思考：需要找到 wupan，點擊搜索框……

如此迭代進行，直到完成任務(wù)。整個過程行云流水，最后它還會像模像樣地匯報：「任務(wù)已完成」。

而在以上任務(wù)執(zhí)行的同時，我們的手機端則經(jīng)歷了以下過程。很顯然，AutoGLM 非常出色地完成了這個初始任務(wù)。

下面，為了更好地展示，我們將使用 scrcpy 將手機投屏到 PC 上，將前后端情況一并錄制。此外，為了方便，我們將上面略顯繁瑣的命令定義為一個 Function，并把它放進 PowerShell 配置文件 (Profile) 里。下面我們只需簡單地輸出「run "提示詞"」即可向 AutoGLM 發(fā)送指令。（當然，你也可以 Vibe Code 一個更好看或直觀的交互 UI。）

接下來試試 AutoGLM 與小紅書的交互。

run "打開小紅書，看看有什么有趣的瘋狂動物城周邊"

同樣，執(zhí)行非常順暢，并且在執(zhí)行過程中，我們還看到 AutoGLM 能夠正確地識別和處理彈窗提醒。更讓人驚喜的是它的總結(jié)能力。它沒有機械地羅列標題，而是像個真正的瀏覽者一樣，理解了屏幕上的內(nèi)容。在最終的反饋中，它匯總了前四個結(jié)果：發(fā)圈、毛絨公仔、圓珠筆、泡泡瑪特盲盒。這說明它不僅「看」到了像素，還「懂」了商品。

AutoGLM 還可以根據(jù)用戶指令執(zhí)行連續(xù)多步操作，比如你可以讓它「先打開維基百科找到五月天的第一張專輯是什么，然后打開 QQ 音樂播放它」：

我們還能讓 AutoGLM 幫助完成一些重復(fù)性的繁瑣任務(wù)，比如應(yīng)用寶軟件更新。當你有一大堆軟件需要更新時，加上不時的彈窗，這會變成一個幾乎讓人有些火大的過程。而如果你有 AutoGLM 這樣的 AI 助手，也就是一句話的事兒。

run "打開應(yīng)用寶，把我的軟件更新一下"

哇哦！真省心。簡直是「懶人福音」。面對一大堆待更新的 App 和時不時的彈窗，AutoGLM 耐心地一個個點擊。

有趣的是，在更新過程中，AutoGLM 還遭遇了一次「誤觸」。根據(jù)對話記錄可以看出，當時彈出了請求更新嗶哩嗶哩的許可申請，而此時百度地圖又剛剛更新完成，于是 AutoGLM 本來打算點擊的「更新」變成了「打開」，它也因此意外打開了百度地圖。

如果是傳統(tǒng)的自動化腳本，這時候已經(jīng)卡死報錯了。但 AutoGLM 展現(xiàn)出了驚人的臨場反應(yīng)：

感知錯誤：它發(fā)現(xiàn)屏幕畫面變成了地圖，而不是應(yīng)用寶。自我修正：它沒有由于結(jié)果超出預(yù)期而自亂陣腳，而是分析當前狀況，執(zhí)行了「返回/退出」操作?；氐秸墸褐匦禄氐綉?yīng)用寶界面，繼續(xù)未完成的更新任務(wù)。

這種穩(wěn)健性才是 Agent 走向?qū)嵱玫年P(guān)鍵。

實測過程中，我們發(fā)現(xiàn) AutoGLM 的執(zhí)行邏輯是通過分析屏幕截圖來確定下一步。也因此，AutoGLM 具有非常高的通用性和普適性，并不局限于智譜官方推薦的應(yīng)用。事實上，只要它能理解手機屏幕截圖，便能夠執(zhí)行一步步地完成任務(wù)。

舉個例子，我們甚至能讓 AutoGLM 調(diào)用其它 AI 助手來幫助完成更加復(fù)雜的任務(wù)。

run "打開 Gemini，讓它搜索并整理一下智譜的發(fā)展歷史，最后出具一份深度報告"

結(jié)果堪稱完美！Open-AutoGLM 成功打開了 Gemini ，將我們的自然語言指令輸入進去，等待 Gemini 生成長文報告，最后將報告內(nèi)容提取回來。

這一刻，手機里的 App 不再是孤島。AutoGLM 像是一層「超級膠水」，將本地應(yīng)用、云端大模型無縫粘合在了一起。這或許就是未來「超級 App」的雛形 ——App 本身不再重要，服務(wù)才是核心。

全面開源

人手一個 AI 手機

智譜選擇了和封閉生態(tài)完全不同的方向。

Open-AutoGLM 的全面開源，意味著開發(fā)者、研究者與個人愛好者，都可以沿用 AutoGLM 的執(zhí)行框架，在自己的產(chǎn)品中復(fù)現(xiàn)或延展這個「能動手的 AI」。

此次開源顯得誠意十足：

核心模型與推理代碼：毫無保留。工具鏈：完整的 Phone-Use 框架。開箱即用：支持 50 多款常用中文 App 的 Demo。協(xié)議友好：模型采用 MIT 協(xié)議，代碼采用 Apache-2.0 協(xié)議。完善的文檔和快速上手指南。

無需擔憂的隱私問題

開源徹底改變了隱私的博弈關(guān)系。當模型、框架、適配層全部公開后，我們能做的最重要一件事，就是把 AI 完整地搬回到用戶的本地設(shè)備上運行。

數(shù)據(jù)無需上云，所有操作記錄、App 使用習慣甚至輸入內(nèi)容都能在本機完成處理 —— 沒有上傳，自然也就沒有泄露風險。同時，代碼完全透明，任何人都可以驗證它是否聯(lián)網(wǎng)、是否收集數(shù)據(jù)、是否寫入日志，比任何口頭承諾都更可靠。

在 AI 手機的概念被炒得火熱的今天，我們需要的不是又一個竊取數(shù)據(jù)的云端黑盒，而是一個透明、可控、私有的智能管家。

行業(yè)平等的模型底座

在不遠的未來，AI 助手最終會普及到每個用戶。而沒有人希望，這個能夠幫助人們操作手機的助手，一個能夠掌控各大應(yīng)用的入口，是某一個平臺獨占的資源。豆包手機助手目前被各大 App 限制的現(xiàn)狀，已經(jīng)給出了信號。

這是一次新的人機交互革命，AutoGLM 開源，把 AI 助手的能力徹底開放，變成全行業(yè)的公共底座。

Open-AutoGLM 的出現(xiàn)，或許就是 AI Agent 領(lǐng)域的「安卓時刻」：它為那個羅永浩曾夢想過的、動動嘴就能搞定一切的 TNT 時代，鋪下了第一塊堅實的開源基石。

正如智譜所言：「把我們已經(jīng)走過的路，變成接下來 Agent 爆發(fā)時代大家的起跑線。

未來已來，而且這次，它聽你的。

文中視頻鏈接：https://mp.weixin.qq.com/s/ub9_3OETxNjA7NbSrXdW6Q