在 GenAI 的浪潮下,各行各業正迎來全新的變革,作為 AI 載體的智能硬件行業也不例外,一方面,AIGC 與機器人的結合,推動具身智能產業快速發展,科幻電影里善解人意的清掃機器人“瓦力”、醫療機器人“大白”正在走進現實。另一方面,以智能手表、智能眼鏡、智能耳機為首的穿戴式智能硬件與多模態大模型的結合也成為當下的新趨勢。

在2017年以天貓精靈、小愛同學、小度等語音助手驅動的智能設備被視為第一批 AI 硬件革命,這類智能設備雖然經過多年的市場教育已逐漸融入了我們的生活,成為不少家庭的語音助手,但其中 AI 的智能化還較為初級。近兩年伴隨 GenAI 的興起,更智能化的多模態大模型賦予了智能硬件新的生命,帶來全新的人機交互體驗,催生智能硬件行業新的變革。

智能硬件+多模態大模型 穿戴式設備交互體驗迎來變革

聲網經過市場調研發現,目前多模態大模型在智能硬件場景的落地主要以智能眼鏡、智能手表、智能耳機等穿戴式設備為主,同時在智能門鈴、智能陪伴玩具等 IoT 場景也有一些應用。不同場景展現出的用戶需求與場景特點存在一定的差異化,例如:

· 智能手表:智能兒童手表是多模態大模型最早落地 IoT 行業的硬件場景之一,目前 360兒童手表、小天才等兒童手表中已率先集成應用。流暢的 AI 互動問答可以填充兒童空閑時間,智能化的回答也為兒童帶來了知識科普的價值,起到教育學習的輔助作用。同時,智能手表的屏幕較小,對語音交互的訴求更強,加入對話式 AI 顯得更順其自然。

· 智能眼鏡:不同于將重點放在虛擬與現實結合的AR眼鏡,智能眼鏡更加注重通過 AI 提升語音交互能力,今年 meta 聯合雷朋推出的「Ray-Ban meta」智能眼鏡就是代表產品。通過在智能眼鏡中加入攝像頭、AI 等功能,用戶可通過語音交互讓眼鏡來幫助工作&日程安排,或者開啟百科問答、學習輔助、英文翻譯、語音導航、超擬人情感陪伴及音樂娛樂等功能。

在 AI 與 RTC 能力的加持下,智能眼鏡可以支持第一視角音視頻回傳(包含音視頻通話、視頻錄制、直播等),還支持實時翻譯、同聲傳譯等場景,搭配手勢識別,實現跨語言環境 的語義理解。

圖:「Ray-Ban meta」智能眼鏡

· 智能耳機:智能耳機與大模型的結合主要集中在實時翻譯、情感交流、錄音轉寫等核心功能,在實時翻譯方面,智能耳機目前主要應用在1對1翻譯,支持雙方對話過程隨時發言,無需等待翻譯完成或對方發言結束,適合雙人會議、差旅、教學、社交等高頻深度對話場景,代表產品有三星 Galaxy Buds 系列無線耳機、時空壺 W4 Pro等。同時,借助 RTC 的能力,在智能耳機中還能實現多人同頻道、AI降噪等功能。

在情感交流方面,代表產品有當下熱門的Ola Friend 智能耳機,該產品可實現英語陪練、旅行導游、情感交流等功能。開發者如想快速上線此類型的智能耳機,聲網可以提供快速、已用、完整的解決方案,并采用了靈活可擴展的 AIAgent架構,具備工作流編排能力,開發者與企業可自主選擇 LLM 等組件,根據特定需求定制和擴展 AI 驅動的實時互動體驗。

· 智能門鈴:在智能門鈴等IPC場景,加入 AI 大模型的能力,可通過攝像頭實時識別并理解視頻內容,實現設備無人值守場景下的自定義交互,如:外賣、快遞上門,在家中無人時,門鈴可自動識別并應答,指導快遞員將貨物放到指定位置。

此外,在GenAI 的趨勢下,IoT 行業還出現了智能陪伴機器人、智能兒童毛絨玩具、智能戒指等一系列智能硬件場景,帶來不同硬件終端下的 AI 語音交互體驗。

聲網 AI x IoT 智能硬件解決方案 低功耗、低延時、低成本

聲網作為全球實時互動云行業的開創者,一直在探索 GenAI 與 RTE 結合帶來的體驗提升和場景創新,此前發布了實時多模態對話式 AI 解決方案,在此基礎上,針對 IoT 行業的特殊性,聲網探索出了AI x IoT 智能硬件解決方案,該方案能夠在低功耗、低算力芯片上快速實現大模型的接入,具備低延時實時互動、低成本靈活適配的特性,通過豐富的功能在智能硬件場景中構建真實、自然的 AI 語音交互體驗。

例如對交互延遲進行優化,語音交互延時低至1s內;支持多模態 AI 語義識別和理解;支持 AI降噪,保證清晰的語音交互、支持小包體、低內存、低功耗;適配支持70+主流、高性價比的芯片等,幫助開發者與企業快速構建適配自己硬件的 AI 實時語音對話服務。

圖:聲網 AI x IoT 智能硬件解決方案架構圖

1、毫秒級人機交互體驗:聲網 AI x IoT 智能硬件解決方案進一步優化了端到端互動體驗,實現人與設備之間基于 LLM 的毫秒級互動體驗。通過在客戶端進行低延遲的音頻采集和播放、借助聲網自研的 SD-RTN? 實時傳輸網絡實現全球范圍的低延時 RTC 傳輸,并進一步通過更快速的 LLM 推理首字耗時、低延遲流式 TTS、同機部署等一系列技術手段,保證對話的實時性與流暢性。

2、文本/圖像/音頻/視頻的多模態交互:在智能硬件場景,聲網的解決方案同樣支持文本/圖像/音頻/視頻的組合輸入&輸出,同時開發者與企業也無需額外集成STT、TTS 等模塊化組件,一套方案就能快速構建 AI 實時語音對話服務。

3、聚焦關鍵信息,提升語義理解度:在 GenAI 場景,能否支持隨時打斷也成為衡量大模型智能化的重要指標,聲網的解決方案也支持先進的 AI-VAD 技術,可實現靈敏的自然語音打斷,模擬人類對話的自然流動,讓對話更加真實、自然。

4、AI降噪保障語音對話清晰、順暢:針對語音對話中經常會出現的噪音、回聲等問題,聲網擁有行業領先的音頻 3A 能力,通過AI噪聲抑制、背景人聲過濾、音樂檢測/過濾等算法,確保人與 AI 的對話不受環境干擾,始終保持順暢。

5、實現多模態 AI 能力普適:實現任意可視設備的智能化體驗:在硬件場景構建音視頻互動需要特別注意 SDK 對芯片、系統的適配性以及包體的體積等。聲網的解決方案適配支持 70+ 主流、高性價比的芯片/模組,例如:展銳 Cat.1系列芯片、樂鑫 ESP32-S2/S3、BK 7256、BK7258、杰理AC7916、博流BL808等 RTOS 芯片,以及高通、聯發科、君正、Sigmastar、全志、海思、Mstar 等 70+ Linux 芯片。

集成包體積增量也<400KB,支持在 RTOS、embedLinux 等低功耗系統流暢運行,同時 SDK 還支持 PCM、G711U/A、G722、AAC、OPUS 等多種音頻格式。