想象一下，你無需觸碰任何設備，只需一個微小的手腕動作，憑空比劃幾下，就能與身邊的電腦、手機、智能眼鏡無縫交互。

meta 公司的 Reality Labs，在最新發表于《自然》（Nature）雜志的論文中，帶來了一項新成果：一種通用的非侵入性神經運動接口，與腕帶結合后，就能讓這種“意念控制”成為現實。

圖 | 論文標題（meta 論文）

長期以來，人類在追求更高效、更直觀的計算機輸入方式上從未止步。然而，無論是鍵盤、鼠標還是觸摸屏，都不可避免地需要用戶與物理設備進行直接互動，這在移動場景下往往顯得笨拙不便。

而依賴攝像頭或慣性傳感器的手勢系統，則容易受制于遮擋或光線不足等環境因素。

為了破除這些限制，直接從人體讀取信號的腦機接口（brain–computer interfaces）和神經運動接口（neuromotor interfaces）成為了熱門研究領域。

meta 團隊此次將目光投向了一種非侵入性神經運動接口：基于表面肌電圖（sEMG，surface electromyography）的技術。

簡單來說，就是通過讀取肌肉產生的電信號來理解人體的運動指令。

圖 | SEMG 腕帶系統示意圖（meta）

meta 早在多年前就開始著手研究這項技術。2021 年，該公司組建了一個團隊，其中包括論文作者之一托馬斯·里爾登（Thomas Reardon）——他于 2019 年加入 Reality Labs，擔任神經運動界面主管，主導開發了一款基于肌電圖的手勢控制裝置原型。

這些肌電信號，實際上是運動單位動作電位（MUAPs，Motor Unit Action Potentials）的總和，它們就像是中央神經系統發出的微電流指令，可以透過皮膚，為我們展現大腦如何控制肌肉。

與腦電圖相比，SEMG 信號具有更高的信噪比，這意味著它能更清晰地捕捉到肌肉的微弱活動，從而實現實時的單次手勢解碼。

同時，SEMG 信號不受遮擋、光照不足或微小動作的困擾，天然適用于人機交互應用。

（meta）

基于此，meta 研究團隊開發并部署了一款非侵入式硬件，像腕帶一樣的 SEMG 研究設備（SEMG-RD），用于在手腕處記錄 SEMG 信號。

之所以選擇手腕作為佩戴位置，是因為人類主要通過手部與世界互動，且手腕能廣泛覆蓋手部、腕部和前臂肌肉的 SEMG 信號。

腕帶是無線的，并能適應不同解剖結構和環境，僅需幾秒鐘即可完成佩戴或摘除。它通過藍牙傳輸數據，續航在 4 小時左右。

除了硬件設備，研究團隊還創建了一個可擴展的、大規模數據收集基礎設施。他們從數千名參與者那里收集了大量的訓練數據，幫助他們開發出了能夠跨個體泛化的通用 SEMG 解碼模型。

圖 | 三種實驗任務（meta）

實驗設計中包含了三類核心計算機交互任務：一維連續導航（類似于激光筆控制）、離散手勢檢測（手指捏合、拇指輕掃）和手寫轉錄。參與者佩戴 SEMG 腕帶，并根據計算機屏幕上的提示執行相應的動作。

為了將 SEMG 信號轉換為計算機指令，研究人員架構并部署了基于深度神經網絡的解碼模型。

針對不同的任務，模型采用了不同的處理技術和網絡架構：腕部任務采用多變量功率頻率（MPF，Multivariate Power Frequency）特征和長短期記憶（LSTM，Long Short-term Memory）層，離散手勢任務采用一維卷積層后接 LSTM 層，手寫任務采用 MPF 特征和 Conformer 架構。

此外，研究團隊還開發了時間對齊算法，以解決提示標簽與實際手勢時間可能存在的偏差，從而提高模型訓練的精度。

圖 | SEMG 腕帶（meta）

meta 團隊通過離線和在線（閉環）兩種方式對 SEMG 解碼模型的性能進行了評估。

離線評估數據顯示，SEMG-RD 平臺在手寫和手勢檢測任務中，對未參與訓練的測試參與者實現了超過 90% 的分類準確率。在腕部角度速度解碼任務中，誤差低于 13°s-1。

研究指出，單個參與者模型在跨會話和跨用戶泛化方面存在挑戰，同一參與者在不同會話間的模型性能隨著訓練數據的增加而改善。但跨參與者泛化能力仍然受限，即使增加訓練數據也僅能帶來輕微改善。

這突顯了采用大規模、多樣化數據集訓練通用模型的必要性。

模型性能顯示出與訓練數據量和模型規模的冪律關系，這與大型語言模型和視覺 Transformer 的研究發現一致。隨著訓練參與者數量的增加，所有任務的解碼錯誤率均呈現下降趨勢。

在線（閉環）評估數據則直接反映了模型作為計算機接口的實際可行性。評估對象為之前沒有 SEMG 解碼器使用經驗的初次用戶。

圖 | 三種閉環任務示意圖（meta）

在腕部連續控制任務中，用戶實現了每秒 0.66 個目標獲取的閉環中位數性能。在離散手勢任務中，系統實現了每秒 0.88 次手勢檢測的中位數性能。在手寫輸入功能上，用戶實現了每分鐘 20.9 個單詞（WPM，Words Per Minute）的中位數性能。

與傳統交互設備相比，如 MacBook 觸摸板的平均獲取時間為 0.68 秒、任天堂 Joy-Con 游戲控制器的中位數手勢完成率為 1.45 次/秒、無筆手寫的速度為 25.1 WPM，SEMG 解碼器的絕對性能目前仍有差距。

然而，該接口的優勢在于不依賴手持設備或外部儀器，這在特定使用場景下具有幾乎無法替代的價值。研究團隊還觀察到，參與者在實踐中會不斷進步，適當的指導和練習有助于用戶適應腕帶并提高任務表現。

進一步的模型個性化探索表明，即使在通用模型表現良好的情況下，通過短時間額外的個性化數據（例如 20 分鐘）微調模型，仍能進一步提升性能。

以手寫任務為例，即使通用模型已經用 6400 名參與者的數據進行了訓練，但只要再加入短短 20 分鐘的個性化數據，就能讓中位數性能再提高 16%。

個性化對那些通用模型表現相對較差的參與者，帶來了更大的相對增益，有效解決了用戶性能的長尾效應。

為了深入理解離散手勢解碼器神經網絡的內部工作機制，研究人員分析了其學習到的表示。網絡架構包含一個一維卷積層和三個循環 LSTM 層。

研究發現，第一層卷積層的濾波器在時空特征上與肌肉 MUAPs 具有相似性。這表明模型在較低層次學習了與肌肉電生理活動相關的基礎模式。

（meta）

進一步分析 LSTM 層的表示發現，隨著網絡深度的增加，手勢類別信息在表示空間中變得更加可分離，而與參與者身份、腕帶放置位置和手勢激發的 SEMG 功率等“干擾變量”相關的表示則逐漸解耦或保持不變。

這意味著網絡通過學習，逐漸將 SEMG 信號的表示塑造成對這些“干擾變量”更加不變的形式，從而提高了手勢識別的穩健性。

meta 研究團隊指出，這項技術為未來人機交互開啟了多種可能性。

首先，SEMG 解碼器能夠直接檢測手勢的力度，這是現有攝像頭或操縱桿控制無法實現的功能。未來用戶可能通過“意念”來控制設備的力度，例如通過輕微的肌肉收縮來微調音量，而通過更強的收縮則實現快速靜音。

其次，盡管目前研究主要展示了一維連續控制，但通過添加更多仿生映射，例如利用手腕的尺側/橈側偏離來控制垂直方向，實現多自由度聯合控制是完全可能的。

此外，SEMG-RD 平臺及其配套軟件，還可用于研究神經反饋對運動單位活動的影響，從而探索新穎的“人機共生”交互模式，甚至支持人們學習新的運動技能。

最后，在臨床領域，這種只需最小肌肉活動而非特定動作的交互設計，有望為那些運動能力受限、肌肉無力或失去肢體的人提供可行的交互方案，并促進有效的閉環神經康復范式的發展。

雖然該研究在解決 SEMG 系統長期面臨的泛化和校準問題上取得了進展，但仍存在局限性和進步空間。

例如，與傳統的、成熟的人機交互方法相比，SEMG 系統的絕對性能較弱，學習曲線較為陡峭。此外，該研究主要面對的是健康人群，訓練結果能否泛化到行動不便人群仍未可知。這或許會限制它在臨床、無障礙方面的用途。

為了更好地推動 SEMG 的相關研究，研究團隊公開了 1060 份來自 300 名參與者的 SEMG 記錄數據以及相關的代碼。

研究人員表示，他們未來的工作將關注用戶熟練度提升、模型優化（包括個性化）、后處理技術和硬件傳感性能的改進。

參考資料：

Kaifosh, P., Reardon, T.R. & CTRL-labs at Reality Labs. A generic non-invasive neuromotor interface for human-computer interaction.Nature(2025). https://doi.org/10.1038/s41586-025-09255-w

https://newatlas.com/wearables/meta-mouse-keyboard-bracelet-semg-rd/

運營/排版：何晨龍