12 月 10 日消息，麻省理工学院与 Empirical Health 研究人员开展的一项新研究，利用 300 万“人-天”的 Apple Watch 数据，开发出一种基础模型，能够以高度准确性预测多种健康状况。
背景介绍
在 Yann LeCun 仍担任 Meta 首席人工智能科学家期间，他提出了“联合嵌入预测架构”（Joint-Embedding Predictive Architecture，简称 JEPA）。该架构的核心思想是：让人工智能系统推断缺失数据所代表的含义，而非直接重建缺失数据本身。
换言之，当面对数据中的空缺时，模型学习的是如何从上下文推断缺失部分的语义表征，而不是试图猜测其精确数值。
例如，在处理图像时，若某些区域被遮蔽而其他区域可见，JEPA 会将可见区域与被遮蔽区域共同映射到一个共享的嵌入空间（即“联合嵌入”），并基于可见部分推断被遮蔽区域的表征，而非还原其原始像素内容。
2023 年，Meta 发布名为 I-JEPA 的模型时曾这样描述这一理念：
去年，Meta 首席 AI 科学家 Yann LeCun 提出了一种全新架构，旨在克服当前最先进 AI 系统的关键局限。他的愿景是构建能够学习‘世界内部模型’的机器，使其能更快地学习、规划复杂任务，并迅速适应陌生情境。
据了解，自 LeCun 最初提出 JEPA 以来，这一架构已成为“世界模型”（world models）研究领域的基石。这标志着 AI 研究范式正从大型语言模型（LLM）和 GPT 类系统所依赖的“词元预测”转向更注重对环境动态建模的方向。
事实上，LeCun 近期已离开 Meta，创立了一家专注于“世界模型”的公司。他认为，这才是通往通用人工智能（AGI）的真正路径。
回归本项研究：300 万人-天的 Apple Watch 数据
回到当前这项研究。几个月前发表的论文《JETS：面向医疗健康行为数据的自监督联合嵌入时间序列基础模型》（JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare）近日已被 NeurIPS 会议的一个研讨会接收。
该研究将 JEPA 的联合嵌入方法适配于不规则的多变量时间序列数据，例如来自可穿戴设备的长期健康数据，其中心率、睡眠、活动量等指标在时间上呈现不连续性或存在大量缺失。
研究团队使用的纵向数据集包含 16,522 名参与者的可穿戴设备记录，总计约 300 万“人-天”。每位参与者每日（或更低频率）记录了 63 项不同的时间序列指标，涵盖五大生理与行为领域：心血管健康、呼吸健康、睡眠、身体活动及一般统计信息。
值得注意的是，仅有 15% 的参与者拥有可用于评估的标注医疗史，这意味着在传统监督学习框架下，高达 85% 的数据将被视为无效。而 JETS 模型首先在整个数据集上通过自监督预训练进行学习，随后仅在有标签的子集上进行微调。
为实现这一目标，研究人员将每条观测数据构造成“三元组”（日期、数值、指标类型），从而将每个观测值转化为一个“token”。这些 token 随后经过掩码处理、编码，并输入预测器，用以预测被掩码片段的嵌入表示。
完成训练后，研究人员将 JETS 与多个基线模型（包括基于 Transformer 架构的早期 JETS 版本）进行对比，并采用 AUROC（受试者工作特征曲线下面积）和 AUPRC（精确率-召回率曲线下面积）两项标准指标评估模型在区分阳性与阴性病例方面的表现。
结果显示，JETS 在多项疾病预测中表现优异：高血压预测 AUROC 达 86.8%，房扑（atrial flutter）为 70.5%，慢性疲劳综合征为 81%，病态窦房结综合征（sick sinus syndrome）亦达 86.8%。尽管并非在所有任务中均胜出，但其优势显而易见。
需要强调的是，AUROC 和 AUPRC 并非严格意义上的“准确率”指标，而是衡量模型对潜在病例进行排序或优先级判断能力的指标。
总结
总体而言，这项研究提出了一种极具前景的方法，能够从通常被视为“不完整”或“不规则”的健康数据中提取最大价值，甚至在某些指标仅在 0.4% 的时间内被记录、而另一些指标出现在 99% 日常读数中的极端不平衡情况下依然有效。
此外，该研究进一步印证了一个重要观点：即使 Apple Watch 等日常可穿戴设备并非全天候佩戴，其已收集的海量数据仍蕴含巨大潜力，通过新型模型架构与训练策略，有望释放其在疾病早期预警和健康管理中的生命拯救价值。
