部分重大疾病在进展过程中常累及脑、心、肝等多个器官与组织。正电子发射断层显像（PET）作为核医学的重要工具，可一次性捕捉全身代谢状态，并与CT或MRI互补，为系统性疾病研究提供整体视角。 实现这类研究的关键在于多模态图像分割技术：只有将不同模态的特征有效融合，完成全身多器官的精确分割，才能为跨器官代谢分析提供可靠的定位依据。然而，同一模态内成像条件差异大&全身上百种器官结构尺度悬殊，不同模态图像的对比度与噪声特征又显著不同，使得高精度分割成为核心技术难题。因此，研究具备跨模态理解与高度稳定性的通用图像分割模型，已成为多器官疾病图像分析的关键突破口。
针对上述问题，北京大学医学技术研究院谢肇恒团队提出了模态投影通用模型（MPUM），成果于近日发表于《Nature Communications》。该模型通过“模态投影机制”将不同模态特征映射至共享的潜在空间（Shared-latent space），并根据输入类型自动选择特征路径，实现CT/MRI/PET图像的统一分割。MPUM在861例多模态全身图像上训练，可识别>200种组织结构，无需针对模态微调，即可实现高精度全身分割。 模型引入控制器卷积层以增强可解释性，生成显著性图，帮助临床医生直观理解AI决策。同时，MPUM不仅聚焦结构解析，还支持多器官代谢相关性分析，为全身系统功能研究提供了全新的计算工具，可用于连接多器官结构与功能的系统性分析。
图1全身多模态图像通用分割模型（MPUM）全览
MPUM模型的临床与科研应用潜力在论文中通过三个代表性场景得以展示：第一类案例针对通用分割性能进行技术验证，MPUM在多个模态环境中表现出优于现有先进模型（如STUNet、MedSAM和TotalSegmentator）的性能，尤其在多模态训练上展现显著优势。第二类案例聚焦于急诊场景下的出血性脑病辅助诊断应用，研究团队将MPUM应用于头颅CT图像的出血检测任务中，实现对颅内出血（ICH）区域的快速定位，极大缩短识别时间，为急性脑损伤患者的临床决策提供支持。第三类案例将MPUM作为全身代谢分析工具应用于癫痫与阿尔茨海默病患者的PET/CT图像中，从脑区至体部代谢网络的角度构建脑-体代谢互作图谱，揭示疾病在全身层面上的功能改变趋势。这一分析方式显示MPUM不仅是一个精确的图像分割工具，更是一个具备系统级功能理解能力的“全身图像解析平台”。
图2 21类代表性器官/组织的Dice相似系数对比。
MPUM源自团队在通用分割研究领域的系统积累。团队2023年在IEEE TMI上发表的PCNet模型引入临床专家定义的层级解剖先验，通过“先验类别提示”与“层级类别”强化了解剖关系表达，实现了高泛化性的CT通用分割。 随后在MICCAI会议上发布的LUCIDA模型针对PET/CT中的低剂量CT场景，利用加权分割重建在无标注条件下提升分割精度。基于上述工作，团队最终构建出了跨模态、跨器官、跨条件的MPUM。MPUM的提出为全身系统性疾病研究提供了强有力的图像分析工具，有望推动从”器官级”分析向”全身结构—功能综合表达”的转变，并为构建具备推理与预测能力的”医学图像语言模型”提供新路径，助力医学AI从”局部解析”迈向”全身理解”。
图3基于全身多器官图像分割模型所构建的PET/CT代谢网络，可被用于脑内、器官间以及脑—体耦合的高通量关联分析。
本项研究工作由北京大学医学技术研究院联合山东第一医科大学附属千佛山医院、北京大学第三医院、广东省人民医院合作开展。北京大学医学技术研究院2023级博士生陈亦新和山东省千佛山医院核医学科高琳为本研究的共同第一作者。谢肇恒研究员（北京大学医学部医学技术研究院/国家生物医学成像中心）与程召平教授（山东第一医科大学第一附属医院/山东省千佛山医院核医学科）担任共同通讯作者。研究获得国家自然科学基金、北京市自然科学基金、北京市高精尖学科建设项目、北京大学医学部启动基金以及国家生物医学生物成像设施的支持。谢肇恒团队长期聚焦核医学与分子图像前沿技术，研究方向涵盖核医学图像重建算法、动力学建模、核素诊疗一体化以及 AI 辅助诊断与治疗。现因科研工作需要，课题组公开招聘1-2名博士后，科研助理1-2名，欢迎拥有信息、物理、数学等背景的申请者加入，有意者请将个人简历发送至（xiezhaoheng@pku.edu.cn），详情可见课题组网站https://xiezhaoheng.github.io/。
参考文章：
[1] Chen, Y., Gao, L.et al.Modality-projection universal model for comprehensive full-body medical imaging segmentation.Nat Commun16, 9423 (2025).
[2] Chen, Y. et al. PCNet: Prior category network for CT universal segmentation model. IEEE Trans. Med. Imaging 43, 3319–3330 (2024).
[3] Chen, Y. et al. LUCIDA: Low-dose universal-tissue CT image domain adaptation for medical segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, 393–402 (Springer, 2024).