新智元報道

編輯：好困

當AI能「看」見實驗室的細節，能「聽」見研究員的每一次反應，能「感知」實驗進展的每一點變化——它的推理將不再局限于硅基世界。那時，AI將通過人類的雙手，直接參與并改變物理現實。它或許將成為實驗室中最勤奮、最可靠的「智能伙伴」。如今，這一幕正在發生在微納加工的超凈間與生命實驗室AI不僅能理解電子器件的誕生，也開始洞察細胞與類器官的生長。從芯片到細胞，從材料到生命，「人機共融」的邊界，正在被重新定義。

科學研究和制造車間里，最讓人崩潰的瞬間是什么？

想象一個場景：

剛入行的新手小李在柔性電子制造的超凈間中。

一個典型的反應離子刻蝕步驟中，標準操作規程SOP（Standard Operating Procedure）要求參數設為30秒、50瓦。

他手忙腳亂輸成了300秒、100瓦，自己還沒察覺；旁邊的資深工程師忙著記錄數據，也沒留意這個失誤。

要是按錯參數運行，整批器件可能直接報廢，幾天的準備工作全白費。

或者是：

研究員老王花了3個月摸索出新的材料合成方法。

可實驗日志記的零散，新手想復刻時，對著SOP里「適度調整溫度」的模糊描述無從下手，只能再花幾個月試錯。

類似的情況，同樣出現在生命科學實驗室：

在類器官培養的顯微臺前，研究生小張剛完成細胞消化步驟。

她比SOP規定的時間多消化了40秒，細胞融合度下降、類器官結構塌陷；或是換液時溫度略低幾度，整個分化周期的關鍵指標都受影響。

實驗日志里只寫著「細胞狀態一般」，沒有任何可追溯的信息。幾周的培養成果，就這樣在一次看似微小的操作偏差中被抹去。

這些不是極端案例，而是科研和高端制造的常態。

無論是硅片還是細胞，人類的雙手都極其靈巧，卻也難免出錯；而傳統AI的「數字大腦」再聰明，也看不見這些微妙的現實世界的實驗細節。

但現在，哈佛大學劉嘉教授團隊研發的人機共融智能（Human-AI Co-Embodied Intelligence）系統，讓這些麻煩有了破解之道。

這一系統首次將人類研究者、具身AI智能體與可穿戴混合現實與增強現實（MR/AR）硬件深度融合，構建出一個與人類能夠同時感知、推理并直接共同參與真實世界實驗和制造過程的集成化智能平臺。

人機共融智能范式：APEX系統與人合作完成智能制造

Agentic Lab——人機共融智能平臺實現AI與研究員在類器官實驗與生產中的實時協作

AI「腦瓜靈」，人類「手腳巧」，但很難配合

科學實驗和高端制造，從來都是「精細活」。

既要嚴守SOP，又要根據實時情況靈活調整——這依靠的是人類專家多年積累的「手感」和判斷力。

但無論是在芯片制造車間，還是在類器官培養皿前，一個共通難題始終存在：

1. 人類試錯成本太高，新手成長慢。

哪怕是經驗豐富的研究員，也可能因疏忽輸錯參數、漏記步驟，導致整批樣品報廢；新手要掌握 SOP 里沒寫的「隱性技巧」，往往需要數月甚至數年的師徒傳承。

在生命科學實驗室中，這種「隱性經驗」尤其昂貴——培養一批細胞或類器官往往需要數周到數月，一次多消化幾秒、試劑溫度偏低幾度，都可能讓整個周期前功盡棄。

2.AI與物理世界「脫節」。

當下的AI模型已經能寫出看似完美的實驗設計、能解析數據圖表，但仍被困在數字世界里——

看不見培養皿中細胞的狀態變化，聽不見實驗臺上的設備提示，也無法即時理解人類手部的操作。即便規劃得再精密，也難落地到真實執行環節。

近幾年雖有「自主實驗室」出現，但受限于機器人「手腳」不夠靈巧、環境感知不足，許多精密實驗仍需人類臨場應變與判斷。

于是，一個尷尬的矛盾愈發凸顯：

AI擁有強大的推理與記憶，卻缺少匹配的「具身感知」；

人類擁有靈巧的雙手與直覺，卻難免出錯、遺漏、遺忘。兩者各有所長，卻始終隔著一道「看不見的墻」。

那有沒有可能——

·讓人類與AI真正「組隊干活」？

·讓AI不再只是冷冰冰的算法，而是能與人類共享視野、感知與操作的「實驗伙伴」？

·把人類的靈活操作與長期經驗，和AI的強大記憶力、上下文推理與不知疲倦的專注力結合，實現「1+1>2」的智慧共研？

人機共融智能

AI眼鏡與多智能體協作的閉環

哈佛大學劉嘉教授團隊正在打造一種全新的科研范式——人機共融智能（Human-AI Co-Embodied Intelligence）。

在這一范式中，人類與AI不再是「指令與執行」的單向關系，而是通過多智能體的協作，共同感知、推理、決策與行動。

AI不只是屏幕里的大腦，而是真實世界中的合作者。

在微納加工中：讓AI理解「人」的動作

在微納制造車間里，劉嘉團隊開發的APEX（Agentic-Physical Experimentation）系統通過混合現實（MR）眼鏡，以8K分辨率、32ms超低延遲捕捉研究員的手部動作、視線與環境變化。

這些實時信息成為AI理解物理世界的「感官輸入」。

系統內部由四個智能體協作完成閉環：

規劃智能體：把研究目標拆解成可執行的工序；

上下文智能體：識別設備狀態、工藝參數與操作者行為；

步驟跟蹤智能體：精準比對當前操作與SOP，判斷進度；

分析智能體：整合視頻、語音、設備數據，給出糾錯與指導。

這四個智能體像一個默契的科研小組，讓AI的推理與人類的動作實時對齊，在高速、復雜的加工現場實現「人機共研」。

實測中，APEX在工具識別和步驟追蹤任務的準確率比GPT-4o、Gemini等多模態模型高出24%至53%，在動態物理環境下的穩定性與理解力均處于領先水平。

在生命實驗中：讓機器理解「生命」的細節

在生物實驗室與生產中，團隊開發的Agentic Lab讓AI通過增強現實（AR）眼鏡進入生命科學的世界。

系統由多個協作智能體組成——

以虛擬PIMolAgent為核心，連接知識檢索智能體（knowledge retrieving subagent）、多尺度數據分析智能體（multi-scale data analysis subagent），單細胞分割與解釋智能體（SingleObjectVision subagent），AR觀測智能體（ObserverVision subagent），寫作智能體（Composer subagent）等子智能體模塊。

研究員在顯微鏡前操作時，AR眼鏡捕捉第一人稱視角，AI能即時識別實驗階段、監測潛在偏差，并以視覺提示或語音方式給出指導。

它還能自動解析顯微圖像：借助Cellpose-SAM分割+VLM文本描述+CLIP/SigLIP嵌入，構建出可解釋的表型表示——AI不僅「看見」細胞，還能「理解」它們的狀態。

在復雜的類器官培養中，系統可發現微小的形態異質性，指出可能的原因（如培養液營養不足或過度消化），并建議調整條件。

實測顯示：Agentic Lab 的 ObserverVision在關鍵幀判斷上與專家一致率72.3%，部分一致9.2%，合并一致率超過80%，實現了生命實驗場景下真正意義的「人機共融協作」。

APEX人機共融界面，通過多智能體協作實現超凈間里芯片制備階段識別、操作糾錯與實時指導，支持芯片制備的閉環協作

Agentic Lab的增強現實（AR）人機共融界面，通過多智能體協作實現實驗階段識別、操作糾錯與實時指導，支持細胞與類器官實驗的閉環協作

實測封神

三大核心能力，顛覆科研制造流程

在柔性電子制造的超凈間里，APEX接受了嚴格的實戰檢驗；而在細胞與類器官實驗室中，Agentic Lab同樣經歷了真實場景的挑戰。

兩套系統從不同維度證明了：當AI與人類共融協作時，科研流程將被徹底改寫。

APEX技術幫助工程師檢查芯片制備參數和幫助新手使用儀器

1. 實時糾錯：一秒預警，零失誤操作

還記得開頭那位「小李」嗎？

在RIE反應刻蝕環節中，APEX通過MR眼鏡的實時監測，在他輸錯參數的那一刻便彈出提示：

警報：當前設置不正確……所需參數為30秒和50瓦。

即時反饋、即時修正——讓潛在的損失在出現之前被扼殺。

而在Agentic Lab的AR環境中，當研究員在細胞傳代或消化階段操作超時、液體體積不符時，AR眼鏡會在第一時間檢測異常并發出提醒，避免細胞過度消化、培養液污染等不可逆錯誤。成為實驗臺上真正的「第二雙眼」。

Agentic Lab的持續學習與知識記憶演化示意圖

2. 自動記錄與分析：讓每一步都可追溯

在制造車間里，APEX能自動記錄每一個操作參數、設備讀數、環境快照和時間戳，形成一份結構化、可搜索的數字化實驗日志。

當研究員事后追問：

上一次RIE步驟我設了多久計時器？

系統能立刻回應：

您在步驟5中設定了30秒，該步驟于[具體時間]完成。

無需再翻找零散記錄——科研過程實現全鏈條可追溯。

不僅如此，APEX系統具備定制化實驗記憶與智能分析能力，可實時記錄、反饋并優化操作，結合歷史數據，用戶偏好，設備狀態，與科研人員共同分析實驗并共創新的實驗方案。

在Agentic Lab中，這一理念同樣被延伸至生命科學領域：系統不僅記錄實驗動作與參數，還能自動生成多模態分析報告。

通過VLM模型解析顯微圖像、表格與文本，AI能實時給出細胞狀態評估、分化進度判斷及優化建議。

每一次實驗都會沉淀為結構化的「數字實驗記憶」，可被搜索、復現、甚至被AI用來反思與改進下一次實驗。

3. 技能遷移與智能共研：讓新手秒變專家

在APEX的3D視覺提示與語音指導下，新手僅需一次訓練，就能流暢完成復雜的八步RIE流程。

他們的操作水平幾乎與專家無異——過去需要數月才能掌握的技能，如今幾天即可。

在生命實驗室里，Agentic Lab的表現同樣驚艷。

借助AR指導界面與Agentic Lab的智能推理，新手研究員在僅有一次示范后便能完成類器官培養的關鍵步驟，準確率接近資深專家水平。

系統還能根據用戶習慣調整提示方式，實現真正意義上的「個性化實驗伙伴」。

從「人機配合」到「人機共融」

物理AI的未來已來

APEX的出現，讓AI第一次真正走進制造現場；Agentic Lab的誕生，則讓AI開始理解生命本身。

它們共同構成了「人機共融智能」的兩翼——一個在工廠中與人共造器件，一個在實驗室里與人共育細胞。

這種范式的躍遷，讓智能不再局限于數字世界，而是通過人類的雙手，延伸進物理現實。

未來，這一體系將進一步拓展：從柔性電子到生物醫學，從化學合成到組織制造，AI將與研究員共同構建一個跨學科、自進化的實驗生態。

過去，我們追求讓AI替代人類；如今，我們正讓AI與人類共生。

最強大的智能，不是取代，而是共融。

從芯片到細胞，從器件到類器官——人機共融的時代，已經到來。

APEX：http://arxiv.org/abs/2511.02071

Agentic Lab：https://www.biorxiv.org/content/10.1101/2025.11.11.686354v1

參考文獻：

[1] Akinwande, D. et al. Graphene and two-dimensional materials for silicon technology. Nature 573, 507-518 (2019).

[2] Tang, X. et al. Flexible brain-computer interfaces. Nat. Electron. 6, 109-118 (2023).

[3] Jordan, M. I. & Mitchell, T. M. Machine learning: Trends, perspectives, and prospects. Science 349, 255-260 (2015).

[4] Achiam, J. et al. GPT-4 technical report. Preprint at arXiv (2023).

[5] Lin, Z. et al. Spike sorting AI agent. Preprint at bioRxiv (2025).

[6] Swanson, K. et al. The Virtual Lab of AI agents designs new SARS-CoV-2 nanobodies. Nature 646, 716-723 (2025).

[7] Jia, Y. K. et al. Robot-assisted mapping of chemical reaction hyperspaces and networks. Nature 645, 922-931 (2025).

[8] Darvish, K. et al. ORGANA: A robotic assistant for automated chemistry experimentation and characterization. Matter 8, 101897 (2025).

[9] Lin, X. et al. Human-AI co-embodied intelligence for scientific experimentation and manufacturing. Preprint at arXiv (2025).

[10] Wang, W et al. Agentic Lab: An Agentic-physical AI system for cell and organoid experimentation and manufacturing. Preprint at bioRxiv (2025).

秒追ASI?點贊、轉發、在看一鍵三連?點亮星標，鎖定新智元極速推送！