IT之家 12 月 10 日消息，麻省理工學(xué)院與 Empirical Health 研究人員開展的一項(xiàng)新研究，利用 300 萬“人-天”的 Apple Watch 數(shù)據(jù)，開發(fā)出一種基礎(chǔ)模型，能夠以高度準(zhǔn)確性預(yù)測(cè)多種健康狀況。

背景介紹

在 Yann LeCun 仍擔(dān)任 meta 首席人工智能科學(xué)家期間，他提出了“聯(lián)合嵌入預(yù)測(cè)架構(gòu)”（Joint-Embedding Predictive Architecture，簡(jiǎn)稱 JEPA）。該架構(gòu)的核心思想是：讓人工智能系統(tǒng)推斷缺失數(shù)據(jù)所代表的含義，而非直接重建缺失數(shù)據(jù)本身。

換言之，當(dāng)面對(duì)數(shù)據(jù)中的空缺時(shí)，模型學(xué)習(xí)的是如何從上下文推斷缺失部分的語義表征，而不是試圖猜測(cè)其精確數(shù)值。

例如，在處理圖像時(shí)，若某些區(qū)域被遮蔽而其他區(qū)域可見，JEPA 會(huì)將可見區(qū)域與被遮蔽區(qū)域共同映射到一個(gè)共享的嵌入空間（即“聯(lián)合嵌入”），并基于可見部分推斷被遮蔽區(qū)域的表征，而非還原其原始像素內(nèi)容。

2023 年，meta 發(fā)布名為 I-JEPA 的模型時(shí)曾這樣描述這一理念：

去年，meta 首席 AI 科學(xué)家 Yann LeCun 提出了一種全新架構(gòu)，旨在克服當(dāng)前最先進(jìn) AI 系統(tǒng)的關(guān)鍵局限。他的愿景是構(gòu)建能夠?qū)W習(xí)‘世界內(nèi)部模型’的機(jī)器，使其能更快地學(xué)習(xí)、規(guī)劃復(fù)雜任務(wù)，并迅速適應(yīng)陌生情境。

據(jù)IT之家了解，自 LeCun 最初提出 JEPA 以來，這一架構(gòu)已成為“世界模型”（world models）研究領(lǐng)域的基石。這標(biāo)志著 AI 研究范式正從大型語言模型（LLM）和 GPT 類系統(tǒng)所依賴的“詞元預(yù)測(cè)”轉(zhuǎn)向更注重對(duì)環(huán)境動(dòng)態(tài)建模的方向。

事實(shí)上，LeCun 近期已離開 meta，創(chuàng)立了一家專注于“世界模型”的公司。他認(rèn)為，這才是通往通用人工智能（AGI）的真正路徑。

回歸本項(xiàng)研究：300 萬人-天的 Apple Watch 數(shù)據(jù)

回到當(dāng)前這項(xiàng)研究。幾個(gè)月前發(fā)表的論文《JETS：面向醫(yī)療健康行為數(shù)據(jù)的自監(jiān)督聯(lián)合嵌入時(shí)間序列基礎(chǔ)模型》（JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare）近日已被 NeurIPS 會(huì)議的一個(gè)研討會(huì)接收。

該研究將 JEPA 的聯(lián)合嵌入方法適配于不規(guī)則的多變量時(shí)間序列數(shù)據(jù)，例如來自可穿戴設(shè)備的長(zhǎng)期健康數(shù)據(jù)，其中心率、睡眠、活動(dòng)量等指標(biāo)在時(shí)間上呈現(xiàn)不連續(xù)性或存在大量缺失。

研究團(tuán)隊(duì)使用的縱向數(shù)據(jù)集包含 16,522 名參與者的可穿戴設(shè)備記錄，總計(jì)約 300 萬“人-天”。每位參與者每日（或更低頻率）記錄了 63 項(xiàng)不同的時(shí)間序列指標(biāo)，涵蓋五大生理與行為領(lǐng)域：心血管健康、呼吸健康、睡眠、身體活動(dòng)及一般統(tǒng)計(jì)信息。

值得注意的是，僅有 15% 的參與者擁有可用于評(píng)估的標(biāo)注醫(yī)療史，這意味著在傳統(tǒng)監(jiān)督學(xué)習(xí)框架下，高達(dá) 85% 的數(shù)據(jù)將被視為無效。而 JETS 模型首先在整個(gè)數(shù)據(jù)集上通過自監(jiān)督預(yù)訓(xùn)練進(jìn)行學(xué)習(xí)，隨后僅在有標(biāo)簽的子集上進(jìn)行微調(diào)。

為實(shí)現(xiàn)這一目標(biāo)，研究人員將每條觀測(cè)數(shù)據(jù)構(gòu)造成“三元組”（日期、數(shù)值、指標(biāo)類型），從而將每個(gè)觀測(cè)值轉(zhuǎn)化為一個(gè)“token”。這些 token 隨后經(jīng)過掩碼處理、編碼，并輸入預(yù)測(cè)器，用以預(yù)測(cè)被掩碼片段的嵌入表示。

完成訓(xùn)練后，研究人員將 JETS 與多個(gè)基線模型（包括基于 Transformer 架構(gòu)的早期 JETS 版本）進(jìn)行對(duì)比，并采用 AUROC（受試者工作特征曲線下面積）和 AUPRC（精確率-召回率曲線下面積）兩項(xiàng)標(biāo)準(zhǔn)指標(biāo)評(píng)估模型在區(qū)分陽性與陰性病例方面的表現(xiàn)。

結(jié)果顯示，JETS 在多項(xiàng)疾病預(yù)測(cè)中表現(xiàn)優(yōu)異：高血壓預(yù)測(cè) AUROC 達(dá) 86.8%，房撲（atrial flutter）為 70.5%，慢性疲勞綜合征為 81%，病態(tài)竇房結(jié)綜合征（sick sinus syndrome）亦達(dá) 86.8%。盡管并非在所有任務(wù)中均勝出，但其優(yōu)勢(shì)顯而易見。

需要強(qiáng)調(diào)的是，AUROC 和 AUPRC 并非嚴(yán)格意義上的“準(zhǔn)確率”指標(biāo)，而是衡量模型對(duì)潛在病例進(jìn)行排序或優(yōu)先級(jí)判斷能力的指標(biāo)。

總結(jié)

總體而言，這項(xiàng)研究提出了一種極具前景的方法，能夠從通常被視為“不完整”或“不規(guī)則”的健康數(shù)據(jù)中提取最大價(jià)值，甚至在某些指標(biāo)僅在 0.4% 的時(shí)間內(nèi)被記錄、而另一些指標(biāo)出現(xiàn)在 99% 日常讀數(shù)中的極端不平衡情況下依然有效。

此外，該研究進(jìn)一步印證了一個(gè)重要觀點(diǎn)：即使 Apple Watch 等日?？纱┐髟O(shè)備并非全天候佩戴，其已收集的海量數(shù)據(jù)仍蘊(yùn)含巨大潛力，通過新型模型架構(gòu)與訓(xùn)練策略，有望釋放其在疾病早期預(yù)警和健康管理中的生命拯救價(jià)值。