近日，中国科大苏州高研院、生物医学工程学院周少华教授团队，在人工智能领域国际学术期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》上发表题为“Pathway-aware multimodal transformer (PAMT): Integrating pathological image and gene expression for interpretable cancer survival analysis”的研究论文。这一突破性进展缩小了病理图像与基因表达数据的 “语义鸿沟”，让癌症生存预测更精准且可解释；不仅能让更多癌症患者从精准治疗中获益，还可避免过度治疗，进而助力医疗资源最优配置，为精准肿瘤诊治铺平道路。

图1：（a）PAMT的整体框架; (b) PAMT的可解释性

癌症生存分析是精准医学的关键环节，它能帮助医生制定个性化治疗方案，但传统分析方法一直面临 “病理图像和基因表达之间细粒度交互不足” 的难题。在过去的研究当中，仅用基因表达数据（分子层面）或病理图像（细胞组织形态层面）单一模态预测生存，往往无法完整反映癌症的复杂机制；部分方法曾尝试结合两种模态，但依然忽略了基因功能网络（生物通路，Pathway）与病理图像区域（图像块，Patch）之间的细粒度关联，导致预测效果受限。为解决这一问题，研究团队开发出全新的 “通路感知多模态 Transformer（PAMT）框架”，通过三步实现多模态数据的细粒度交互和融合。第一步先让单模态数据内部“信息交流”，利用自注意力机制让生物通路间、病理图像块间充分传递信息；第二步通过全新的无配对标签对比学习方法，让生物通路和病理图像块的语义信息对齐，确保两者 “说同一种语言”；第三步则遵循 “基因型决定表型” 的医学先验，以生物通路为指导，实现两种数据的精准融合，真正捕捉到癌症发展的核心关联。PAMT不仅预测效果突出，在膀胱癌、肺鳞癌、肺腺癌三种癌症数据集上，其生存预测性能均显著超过现有主流方法，并且展现出了优秀的“可解释性”。PAMT能够协助病理医生快速筛选影响生存的关键生物通路、定位全切片病理图像中受通路影响的区域，并挖掘与预后相关的病理图像特征。目前，团队已搭建公开网站（http://222.128.10.254:18822/#/），可视化展示186条生物通路对WSI各区域的影响，为科研和临床提供直接助力。

该论文第一作者为中国科学技术大学生物医学工程学院特任副研究员颜锐，共同通讯作者为中国科学技术大学周少华教授、中国科学院计算技术研究所任菲博士；卞修武院士和团队其他成员及合作者也为本研究做出重要贡献。该工作得到国家自然科学基金和苏州市基础研究计划等资助。

论文链接：https://ieeexplore.ieee.org/document/11172339/

（生物医学工程学院）