AI 助手，向著「低調(diào)實(shí)用」方向發(fā)展。

作者｜張勇毅

編輯｜靖宇

幾周前，我為了一份行業(yè)深度文章的撰寫，在堆積如山的數(shù)據(jù)分析文件和瀏覽器標(biāo)簽頁中掙扎了整整兩天。

那種感覺，就像在自己的知識(shí)庫里溺水——你明確地記得看過某個(gè)數(shù)據(jù)、某段論述，卻無論如何也無法在信息的洪流中重新定位它。

我們早已習(xí)慣了這種數(shù)字時(shí)代的「失憶癥」，也習(xí)慣了將希望寄托于 AI。我們像一個(gè)耐心的飼養(yǎng)員，不斷地在應(yīng)用之間復(fù)制、粘貼、切換，把上下文一點(diǎn)點(diǎn)「喂」給 ChatGPT，只為換取一次靈光乍現(xiàn)。

此時(shí)，一個(gè)名為「Glass」的項(xiàng)目引起了我的注意。這款據(jù)開發(fā)團(tuán)隊(duì)介紹致力于成為用戶「數(shù)字大腦拓展」的應(yīng)用，并非又一個(gè) AI 聊天框的變體，而是一個(gè)完全迥異的存在。

它將「被動(dòng)觀察」這一理念，原汁原味地注入了我的 macOS，并由此讓我得以一窺，當(dāng) AI 成為你心智的延伸時(shí)，人機(jī)交互的終極形態(tài)，究竟有多遠(yuǎn)。

欄目作者召集

極客公園的新欄目「AI 上新」，將帶大家體驗(yàn)最新的 AI 應(yīng)用和硬件，讓你成為 AI 時(shí)代「最靚的仔」！

現(xiàn)在，我們也向所有喜歡嘗鮮和體驗(yàn) AI 的同學(xué)發(fā)出召集，只要你發(fā)現(xiàn)并體驗(yàn)了新的 AI 應(yīng)用或者功能，按照格式（參考案例：）向欄目投稿，在極客公園公眾號(hào)發(fā)布，不僅能獲得相應(yīng)稿費(fèi)，且會(huì)為你「報(bào)銷」AI 應(yīng)用的訂閱費(fèi)用。

同時(shí)，優(yōu)秀作者還有機(jī)會(huì)進(jìn)入極客公園 AI 體驗(yàn)群，獲得最新 AI 應(yīng)用和工具的內(nèi)測資格，參加極客公園專屬相關(guān) AI 活動(dòng)，和 AI 應(yīng)用創(chuàng)始人一對一溝通。

AGI 太久，只爭朝夕，讓一部分人先 AI 起來吧！投稿、進(jìn)群請掃描下方二維碼添加極客小助手微信

01

面向未來的AI助手，但是開發(fā)者版

Glass 沒有任何傳統(tǒng)意義上的「界面」。它的「安裝」，更像是一套開發(fā)者環(huán)境的配置流程，需要你熟悉 Python 和 Node.js。它的「實(shí)體」，則只是一個(gè)靜默地躺在菜單欄的圖標(biāo)。

Glass 應(yīng)用安裝界面｜ 極客公園

進(jìn)入 Glass，首先是幾個(gè)直接的權(quán)限請求：

屏幕錄制權(quán)限

麥克風(fēng)訪問權(quán)限

輔助功能權(quán)限

Glass 需要的用戶隱私權(quán)限都非常敏感｜ 極客公園

沒有任何花哨的引導(dǎo)，每一個(gè)權(quán)限都直指其核心：一個(gè)需要完整觀察你、傾聽你的 AI。

如果僅看 Glass 安裝完成之后的效果，可能很難意識(shí)到這是一個(gè) AI 應(yīng)用——你甚至是可以選擇是否將其隱藏：這里并非物理意義上的隱藏，而是在數(shù)字世界中隱藏，即使你將屏幕分享給其他用戶，他們也無法看到 Glass 的存在。

Glass 以一個(gè)懸浮藥丸的形式運(yùn)行于系統(tǒng)中｜ 極客公園

這正是 Glass 的核心理念：AI不應(yīng)是一個(gè)需要被頻繁喚起注意到的「工具」，而應(yīng)是一個(gè)與你伴生的「記憶體」。

傳統(tǒng) AI 助手的工作模式是「你問，我答」，這個(gè)過程是割裂的、非連續(xù)的。而 Glass 顛覆了這一點(diǎn)，它的工作模式是「我觀察，你隨時(shí)問」。它在后臺(tái)默默地記錄你的一切數(shù)字化行為，并將其內(nèi)化為自己的記憶。

它不再需要你費(fèi)力地去「解釋上下文」，因?yàn)樗旧恚突钤谀愕纳舷挛睦铩?/p>

02

當(dāng)記憶不再是負(fù)擔(dān)

看完了它極簡的「頁面布局」，我很好奇 Glass 的實(shí)戰(zhàn)表現(xiàn)如何。

先說結(jié)論，Glass 主要有我們已經(jīng)熟悉的部分，也有不同于現(xiàn)有任何 AI 工具使用體驗(yàn)的部分。

首先，它并不是一個(gè)現(xiàn)有 AI 大模型工具的便捷訪問入口，Glass 雖然可以直接提問，但問題的內(nèi)容總是與屏幕中顯示的內(nèi)容相關(guān)。你可以直接通過快捷鍵，來向它提問各種關(guān)于當(dāng)前屏幕的內(nèi)容。

但這只是 Glass 真正能力的冰山一角：當(dāng)你點(diǎn)擊懸浮欄中的 Listen 按鈕，Glass 就會(huì)切換為監(jiān)聽模式，從靜態(tài)讀取你當(dāng)前桌面上的內(nèi)容，變?yōu)槌掷m(xù)記錄你電腦屏幕過去出現(xiàn)過的各種畫面信息與音頻，并基于此生成一份總結(jié)報(bào)告。

Glass 監(jiān)聽屏幕內(nèi)容改變并實(shí)時(shí)記錄｜ 極客公園

在會(huì)議紀(jì)要場景中，Glass 不僅能實(shí)時(shí)生成一份會(huì)議紀(jì)要重點(diǎn)，并且還能實(shí)時(shí)轉(zhuǎn)錄音頻，當(dāng)然目前的體驗(yàn)中還只支持英文，對于中文語音的支持欠佳。

但 Glass 比起其他會(huì)議紀(jì)要類 AI 工具最大的不同，是它不受某個(gè) App 的限制，可以全局記錄并提取過去屏幕中的內(nèi)容，并且根據(jù)記錄下來的內(nèi)容實(shí)時(shí)生成摘要以及問題總結(jié)。

除了老生常談的會(huì)議記錄功能，Glass 的應(yīng)用場景還能體現(xiàn)在看視頻上：我在 Glass 開啟的狀態(tài)下，打開一個(gè)主題是關(guān)于 F1 車手劉易斯-漢密爾頓的采訪視頻。在不到三分鐘之后，Glass 就通過目前讀取到的內(nèi)容，幫我生成了一份當(dāng)前內(nèi)容摘要。

在這份摘要中，Glass 還會(huì)主動(dòng)提供數(shù)個(gè)進(jìn)一步問題，供你進(jìn)一步了解視頻內(nèi)容，當(dāng)然在這個(gè)階段，你同樣可以自己提問你仍然感覺疑惑的問題。

Glass 生成視頻摘要｜ 極客公園

這份摘要內(nèi)容本身會(huì)隨著屏幕內(nèi)容數(shù)據(jù)的不斷增加，進(jìn)一步更新更多相關(guān)內(nèi)容，目前 Glass 分析本身支持中文內(nèi)容，但自動(dòng)生成的內(nèi)容匯總目前還只能以英文的方式展示——這種情況我們在如今的 Apple Intelligence 中 ChatGPT 的體驗(yàn)中也曾見過，都是模型本身支持中文內(nèi)容、應(yīng)用層沒有做適配產(chǎn)生的問題。

Glass 的屏幕內(nèi)容摘要功能支持中文，但支持的不多｜ 極客公園

在直接針對屏幕內(nèi)容的提問中，由于我可以直接使用中文提問，因此回答也會(huì)采用中文回復(fù)，這很大程度上提高了這一功能對中文用戶的友好程度。

Glass 可以針對記錄的屏幕內(nèi)容提問｜ 極客公園

全局讀取屏幕信息并記錄，是一個(gè)潛力幾乎無上限的功能，我遇到的第一個(gè)震撼瞬間，是在 VSCode 里重構(gòu)一個(gè)復(fù)雜的項(xiàng)目。

當(dāng)我使用 Gemini 修改完一串代碼，然后腦中突然閃過一絲不確定。此時(shí)，我沒有急于修改撰寫的那段代碼，而是直接通過快捷鍵喚出 Glass，問道：「幫我分析一下修改的那部分代碼的核心邏輯。」

幾秒種后，一個(gè)對話框以通知的方式彈出，用清晰的列表總結(jié)了函數(shù)的用途和我的修改點(diǎn)。

我沒有復(fù)制任何代碼，沒有跳轉(zhuǎn)任何頁面。我只是提出了一個(gè)基于「屏幕內(nèi)容」和「需求」的問題，Glass 就從屏幕中為我提取了答案。

另一個(gè)，則是 Glass 對非結(jié)構(gòu)化信息（如會(huì)議語音）的驚人處理能力。在一場持續(xù)一個(gè)多小時(shí)的線上腦暴會(huì)中，我全程投入討論。會(huì)議結(jié)束后，Glass 已經(jīng)自動(dòng)生成了一份詳盡的會(huì)議紀(jì)要，不僅區(qū)分了不同發(fā)言人，甚至提煉出了關(guān)鍵的結(jié)論和待辦事項(xiàng)列表。

Glass 可以無視應(yīng)用邊界自動(dòng)轉(zhuǎn)錄屏幕內(nèi)容｜ Glass

它就像一個(gè)永不疲倦的書記員，將稍縱即逝的多模態(tài)內(nèi)容流，沉淀為結(jié)構(gòu)化的信息資產(chǎn)。

可以說，Glass 的首秀，就將目前AI助手最大的痛點(diǎn)——上下文的缺失和跨應(yīng)用操作的割裂感解決了。同時(shí)作為一個(gè)開源項(xiàng)目，Glass 即使是全時(shí)監(jiān)控屏幕下，也沒有對電腦的內(nèi)存產(chǎn)生特別巨大的壓力——這一點(diǎn)足以讓我愿意讓它全天運(yùn)行在我的電腦上，在我需要它的時(shí)候?qū)⑺鼏拘选?/p>

話雖如此，但我仍然不建議電腦內(nèi)存在 16GB 以下的 Mac 設(shè)備（當(dāng)前 Glass 只有 macOS 版本，Windows 版本在開發(fā)中）長時(shí)間運(yùn)行 Glass，仍然給電腦造成明顯的卡頓現(xiàn)象。

但簡單的產(chǎn)品應(yīng)用邏輯，也說明 Glass 放棄了所有取巧的路徑，它依賴云端服務(wù)器對你的行為進(jìn)行分析（至少在開源版本中），同時(shí)選擇在本地進(jìn)行大量的結(jié)構(gòu)化信息整理任務(wù)。這意味著所有的屏幕錄制、語音識(shí)別，幾乎都直接壓在了處理器本身上，自然也就帶來了更高的硬件負(fù)載。

03

記憶延伸的源流與未來

Glass 的推出，雖然只是一個(gè)名為 Pickle 的小團(tuán)隊(duì)的開源項(xiàng)目，但其背后的理念，卻可以追溯到上個(gè)世紀(jì)。

1945 年，在美國科學(xué)家范尼瓦·布什（Vannevar Bush）發(fā)表于《大西洋月刊》的著名文章《誠如所思》（As We May Think）中，一個(gè)名為「記憶擴(kuò)展器」（Memex）的革命性概念被首次提出。這個(gè)構(gòu)想遠(yuǎn)早于個(gè)人電腦和互聯(lián)網(wǎng)的誕生，卻以驚人的前瞻性預(yù)示了未來信息技術(shù)的發(fā)展方向，并對后來的超文本（Hypertext）和個(gè)人計(jì)算領(lǐng)域產(chǎn)生了深遠(yuǎn)的影響。

《誠如所思》（As We May Think）｜ Wikipidia

「記憶拓展器」的核心邏輯，是通過技術(shù)手段，將個(gè)人的知識(shí)和記憶外部化，使其成為一個(gè)可供隨時(shí)訪問的「外接大腦」。

是不是很熟悉？Glass 所做的事情，正是 Memex 理念在 AI 時(shí)代的具象實(shí)現(xiàn)。它不再局限于存儲(chǔ)文檔和書籍，而是將用戶動(dòng)態(tài)的、實(shí)時(shí)的「行為」本身作為記錄對象，通過大型語言模型的「關(guān)聯(lián)索引」，最終實(shí)現(xiàn)一個(gè)遠(yuǎn)超任何傳統(tǒng)知識(shí)庫的、活的、個(gè)人的記憶系統(tǒng)。

Glass 這個(gè)項(xiàng)目更深遠(yuǎn)的目標(biāo)——「為每個(gè)人建立一個(gè)活的數(shù)字克隆」，則更是這一理念的極致延伸。它不僅要成為你的記憶，更渴望成為你的「代理」，一個(gè)可以理解你、模仿你、甚至代替你執(zhí)行任務(wù)的數(shù)字孿生。

但回到現(xiàn)實(shí)，目前 Glass 的體驗(yàn)顯然距離這個(gè)目標(biāo)距離還很遙遠(yuǎn)：Glass 需要你手動(dòng)輸入 OpenAI 或 Gemini 的 API Keys，現(xiàn)階段 Glass 也提供了登錄賬號(hào)、免費(fèi)試用開發(fā)團(tuán)隊(duì)提供的 API Key 額度的解決方案。同時(shí)正常使用也需要前置安裝 Python 與 Node 環(huán)境庫，雖然門檻實(shí)際上并不高，但也并沒有達(dá)到「開箱即用」的地步。

即便如此，Glass 在開源之后還是迅速在 GitHub 上吸引了不少關(guān)注，短短四天已經(jīng)破超過 3K Star，迅速在 AI 工具圈走紅。

在 Glass 背后，開發(fā)團(tuán)隊(duì) Pickle是一家致力于構(gòu)建「數(shù)字思維擴(kuò)展（Digital Mind Extension）」的公司。他們剛剛在上個(gè)月從 Y Combinator 吸引到了 60 億韓元（約 3100 萬人民幣）的投資。

Pickle 官網(wǎng) ｜ Pickle

Pickle 脫胎于另一個(gè)開源項(xiàng)目 Cheating Daddy，而 Cheating Daddy 又是另一個(gè)「臭名昭著」的項(xiàng)目 Cluely 的開源版本——后者在今年曾因?yàn)殚]源、付費(fèi)以及最重要的面試作弊這一賣點(diǎn)頗受關(guān)注，同時(shí)也引來的諸多爭議。

由于 Pickle 項(xiàng)目中存在大量 Cheating Daddy 項(xiàng)目的內(nèi)容直接復(fù)用，目前 Cheating Daddy 創(chuàng)始人就這一點(diǎn)在 X 上對 Pickle 發(fā)起討伐，指責(zé)「開源項(xiàng)目并不意味著可以拿來照抄」，但這件事尚未得到 Pickle 團(tuán)隊(duì)的正面回應(yīng)。

但目前作為一個(gè)輕量級(jí)的解決方案，Glass 仍然不失為一種值得觀察的思路；此前主打「全天候記錄用戶信息」的 Rewind.ai 項(xiàng)目，就因?yàn)閷υO(shè)備的內(nèi)存占用過高，同時(shí)對結(jié)構(gòu)化內(nèi)容整理效果不盡人意，因而迅速退出 AI 工具的主流舞臺(tái)。

Glass 這類產(chǎn)品所代表的「主動(dòng)感知 AI」，這個(gè)曾在科幻作品中反復(fù)出現(xiàn)，代表著高效與智能的詞匯，距離真正到我們的日常生活中落地，或許已經(jīng)不遠(yuǎn)。

一個(gè)輕量級(jí)工具的脫穎而出，更是說明了這個(gè)過程中，用戶核心需求的提煉——沒錯(cuò)，一個(gè)完美的記憶體的確很強(qiáng)大，AI 的輔助也的確很努力，但人們想得到的，或許僅僅是一個(gè)能讓自己工作更順暢、思考更專注的普通的好工具。

*頭圖Glass

本文為極客公園原創(chuàng)文章，轉(zhuǎn)載請聯(lián)系極客君微信 geekparkGO

極客一問

你覺得 Glass 這個(gè)應(yīng)用如何，

你想下載使用嗎？

余承東：我們?yōu)?L3 做好了準(zhǔn)備，以后該睡就睡，會(huì)叫醒你。

點(diǎn)贊關(guān)注極客公園視頻號(hào)，