RTE 實時互動作為一種未來數(shù)字生活的基礎(chǔ)設(shè)施,已經(jīng)全面深入人們的社交、娛樂、工作、購物等方方面面,并撬動各行各業(yè)的價值增長。甚至在當(dāng)下的 AIGC 熱潮中,實時互動也在扮演重要角色,推動人與 AI 的交互方式從文本升級為音頻、視頻的多模態(tài)。

然而實時互動究竟是什么?它是如何從 RTC 實時音視頻演變來的?它背后的技術(shù)原理是什么?目前 RTE 已經(jīng)落地了多少個應(yīng)用場景?未來在大模型中實現(xiàn)實時語音對話,還存在哪些技術(shù)難點?

8月27日,由機械工業(yè)出版社出版,聲網(wǎng)研究院組編的實時互動行業(yè)書籍《讀懂實時互動》正式發(fā)售上架,這也是全行業(yè)首本系統(tǒng)介紹實時互動的技術(shù)型科普圖書。

Granite Asia 高級管理合伙人Jixun Foo、CSDN 創(chuàng)始人兼董事長蔣濤、五源資本創(chuàng)始合伙人劉芹、36氪創(chuàng)始人兼董事長劉成城、清華大學(xué)教授李東紅、北京大學(xué)教授馬思偉、西北工業(yè)大學(xué)教授謝磊、IDC中國副總裁兼首席分析師武連峰等聯(lián)合力薦。

讀懂實時互動 看這本書就夠了

《讀懂實時互動》全書詳細介紹了實時互動發(fā)展的過去、現(xiàn)在與未來,涵蓋實時互動的發(fā)展歷程、概念解析、技術(shù)原理、應(yīng)用場景、大數(shù)據(jù)觀察等,主要分為五個部分。

· 第一章:回溯與洞察實時互動的過去、現(xiàn)在與未來

從1996年全球第一款可撥打電話的 VoIP 電話誕生,到如今人類可以實現(xiàn)與 AI 的實時語音對話,這中間經(jīng)歷了哪些場景的進化,技術(shù)的升級,企業(yè)的創(chuàng)新?從狼人殺、直播連麥、在線教育、互動播客、元宇宙,到今年大火的 AIGC,聲網(wǎng)從底層音視頻服務(wù)提供商的角度為大家解析實時互動的技術(shù)升級、行業(yè)變遷之路。

例如實時互動是如何成為泛娛樂應(yīng)用的標(biāo)配功能?在 RTC 功能的加持下,IoT 設(shè)備如何實現(xiàn)萬物皆可互動。從1964年視頻會議的概念首次出現(xiàn),到現(xiàn)在開發(fā)者可以在任意 APP 內(nèi)嵌入視頻會議功能,視頻會議是如何從單一的通信工具升級為一種普適能力。

· 第二章:實時互動與相關(guān)概念辨析

總是說 RTC 和 RTE,但是你真的懂兩者間的區(qū)別嗎?等等,還有 PaaS、SaaS、IaaS、aPaaS,還在為這些概念分不清楚而絞盡腦汁?

相信讀完這個章節(jié),你會對這些概念有更清楚、明確的認識。

·第三章:實時音視頻技術(shù)流程解析

重頭戲來了,作為一個行業(yè)的入門者,這一章是你了解實時音視頻技術(shù)的不二之選。從音視頻采集、前處理、編碼、傳輸,再到音視頻后處理,我們聯(lián)合聲網(wǎng)的多位技術(shù)專家用了較長篇幅、較多筆墨,一一道來。

在本章節(jié),你能看到音視頻前處理中音頻 3A 處理與美聲的最佳實踐;直播與視頻通話等場景中如何實現(xiàn)美顏;VP8、VP9、H.264、H.265 以及 AV1等不同的視頻編解碼標(biāo)準(zhǔn)在 RTC 中的應(yīng)用有何不同?等等。

· 第四章:深入剖析近200個實時互動應(yīng)用場景

當(dāng)下,AIGC 產(chǎn)業(yè)發(fā)展如火如荼,在實時互動的加持下,人與AI 交互也從文字升級為音頻、視頻的多模態(tài),也涌現(xiàn)出許多對話式 AI 場景,比如 AI 語音助手、AI 口語老師、AI 游戲NPC、AI 虛擬戀人等。以AI 語音助手為例,通過多模態(tài)大模型+RTC,能夠讓用戶與 AI 助手進行1v1實時語音對話。通過 prompt (AI指令或AI提示詞)為助手設(shè)置豐富的人設(shè),配合 RTC 的超低延遲傳輸,能夠讓 AI 像真實的助手一樣互動,提供幫助。

在這類對話式 AI 的場景中,存在多個技術(shù)難點,例如AI 語音對話通常延遲較高,很影響對話體驗,非常考驗 RTC 傳輸?shù)牡脱舆t,通常延時要做到1-2S內(nèi),人機對話的體驗才會自然、流暢。同時,在流式對話中,周圍人聲和噪聲極容易對人機對話造成干擾,需要通過AIVAD、AGC、AINS等音頻功能,有效地抑制周圍噪聲的干擾,并能夠更好地識別用戶說話的完整語義,讓語音識別更加完整準(zhǔn)確。

除了新涌現(xiàn)的對話式 AI 場景以及我們耳熟能詳?shù)男銏鲋辈ァ⒄Z聊房、在線K歌等場景,書中還介紹了很多你未曾可知的物聯(lián)網(wǎng)場景,比如平行操控領(lǐng)域的云賽車,云賽車基于云計算和人工智能,主要用于愛好者和專業(yè)賽車手進行遠程駕駛的賽車比賽。通過云平臺的控制,駕駛員可以在家中就能參與遠程的賽車比賽。

在這類場景中,技術(shù)難點主要集中在延時與傳輸方面,例如賽車速度快,對延時要求高,需滿足實時畫面低延時性和傳輸穩(wěn)定性,同時還需要具備多路高清回傳的技術(shù)能力。

· 第五章:實時互動大數(shù)據(jù)觀察

全球用戶都在實時互動?相信作為一個 APP 運營者,或者關(guān)注本行業(yè)的同仁,對于實時音視頻大數(shù)據(jù),比如,全球熱門區(qū)域RTC 用量機型清單、機型常用網(wǎng)絡(luò)占比,不同機型對于音視頻的用量占比、熱門區(qū)域 RTC 用量等等數(shù)據(jù)都有所關(guān)注。另外,音視頻卡頓率對于用戶使用時長與留存有何影響?該如何優(yōu)化?這些內(nèi)容對于一個 RTC 行業(yè)從業(yè)者都不容錯過。

本書還準(zhǔn)備了豐富且實用的配套資源,包括與實時互動相關(guān)的圖表、圖譜、行業(yè)發(fā)展報告和白皮書等電子文檔,絕對干貨滿滿,物超所值,具體獲取方式為掃描封底的二維碼進入本書專屬云盤進行下載即可。

《讀懂實時互動》從何而來?

在實時互動產(chǎn)業(yè)環(huán)境高速進化和使用場景多元化的背景下,聲網(wǎng)發(fā)現(xiàn)行業(yè)還沒有一本書系統(tǒng)的從發(fā)展歷程、應(yīng)用場景、技術(shù)架構(gòu)等角度全面的介紹實時互動,只有少部分書從技術(shù)架構(gòu)層面去介紹WebRTC,很多人也不知道 RTC 實時音視頻與 RTE 實時互動的關(guān)系與區(qū)別,因此,全面了解和普及實時互動在當(dāng)下顯得尤為重要。

今年是聲網(wǎng)成立10周年,聲網(wǎng)作為全球?qū)崟r互動云行業(yè)的開創(chuàng)者,一直以“幫助人們跨越距離實時互動,如聚一堂”為使命,致力于通過高質(zhì)量的實時音視頻技術(shù)服務(wù),全面提升人們的實時互動體驗,為社交、教育、金融、醫(yī)療等行業(yè)賦能,推動經(jīng)濟、社會的發(fā)展。聲網(wǎng)有責(zé)任也有義務(wù)去推動實時互動的普及。

對此,聲網(wǎng)在10周年之際推出《讀懂實時互動:音視頻技術(shù)、場景及數(shù)據(jù)深度解讀》這本書。本書從發(fā)展歷程、技術(shù)原理、應(yīng)用場景、大數(shù)據(jù)觀察等多個維度對實時互動展開全面的系統(tǒng)性講解。我們希望讀者通過閱讀本書,能夠深入的讀懂實時互動,并掌握實時互動相關(guān)的知識,并推動更多的人群加入到這個行業(yè)中來,一起推動行業(yè)的進步。

目前,《讀懂實時互動》已登陸京東、當(dāng)當(dāng)?shù)雀鞔箅娚唐脚_及實體書店,敬請關(guān)注。