近日，深睿医疗携手香港大学、四川大学华西医学院和澳门科技大学在人工智能医疗领域实现重大突破！相关成果被国际高影响力的学术期刊《自然-生物医学工程》（Nature Biomedical Engineering）（影响因子：29.234）收录。研究成果详细介绍通过一个统一的AI模型IRENE，进行多模态数据的医学诊断。模型以明确编码不同模态间数据关系，避免了文本结构化步骤的创新方式整合医学影像和临床信息提高诊断效果，进而优化临床诊断流程。此研究具有里程碑意义，预示着医疗人工智能领域的一大进步！

论文题目

“A transformer-based representation learning model with unified processing of multimodal input for clinical diagnostics”

四川大学华西医学院的李为民院长、四川大学华西医学院的王成弟教授、澳门科技大学的张康教授和深睿医疗首席科学家俞益洲教授为该研究的共同通讯作者。

在临床诊断中，医生需要综合考虑患者的主诉、医学影像和实验室化验结果等多种信息，以做出准确的决策。目前，多模态临床决策支持系统采用非统一的方法来融合多模态数据。这种设计存在一个天然的限制：无法编码不同模态之间的关系。另一个潜在的问题是，非统一的诊断方法通常需要对文本进行结构化处理，而文本结构化过程存在标注流程复杂、劳动密集等问题。

研究团队首次采用统一的AI模型IRENE进行多模态数据的医学诊断。IRENE是基于Transformer的多模态学习模型，通过整合医学影像和临床信息提高诊断效果。其核心是统一的多模态诊断Transformer（MDT）和双向多模态注意力机制，它们能生成直接的诊断结果，明确编码不同模态间关系，同时避免了文本结构化步骤。

（IRENE算法模型、数据来源、模型结果）

IRENE结合了最新的自然语言处理技术和图像识别技术，对医学诊断具有重要的辅助作用。它提出了统一的多模态诊断Transformer和双向多模态注意力机制，逐步学习多模态临床数据的整体表示，消除了非统一方法中学习模态特定特征的分离路径。在实际应用中，IRENE能够简化患者护理流程，例如对患者进行分流和区分普通感冒患者与需要紧急干预的严重情况患者。此外，在面对诊断不确定或复杂的情况时，IRENE还可以作为医生的辅助工具，提供诊断建议，进一步增强医生的判断能力。尤其对于医疗资源分布不足的地区，IRENE的应用具有特别重要的意义。同时，IRENE可以直接接受非结构化的临床文本作为输入，从而降低了对繁琐的文本结构化步骤的依赖。

（模型可视化分析）

在项目开展过程中，为了适配多模态大数据研究及 IRENE 模型训练框架对数据应用的新需求，研究团队提出了以知识为中心的多维度信息表达数据体系建设，对传统的医疗大数据治理和应用体系进行了升级。分别在多模态数据多维度自由串联、自然文本与影像数据的医学语义标签构建、诊疗场景化的标准数据集建设等方面进行了全新定义。通过对深睿医疗“多模态大数据科研平台”的全面升级，加强了以知识为中心的数据组织体系，能够更好的满足多模态算法模型在各类任务研究中的数据要求，对未来探索医疗大模型的研究，提供了全新的数据建设理念。

随着大模型时代的到来以及人工智能技术在医疗领域的不断创新突破，对高价值、高质量、高可用的医疗大数据建设提出了全新的范式要求。深睿医疗最新发布的国内首款智慧影像&大数据通用平台-Deepwise MetAI”，正是这样一个融合AI影像和数据智能治理的划时代人工智能创新平台。它融合计算机视觉、NLP、深度学习等人工智能前沿技术，将影像科日常应用产生的数据结构化、形成优质的数据资产，可以在技师、医生、科室的管理者之间自由流通、实现重建、打印、诊断、会诊、教学、科研的一站式影像数智化，更好地支持诊疗流程、科学研究、科室建设乃至医院整体业务的运转，致力于打造新一代人工智能数据应用新基座，全面助力医院智慧化高质量发展。

强大的创新能力推动深睿医疗高速发展，深睿医疗以8张NMPA三类证的持证数量稳居行业鳌头，产品覆盖呼吸系统、心血管系统、女性关爱和儿童生长发育等多个领域。随着AI应用价值和商业化模式日趋成熟，深睿医疗的整体业务持续上扬，为全国30多个省市数千家医疗机构提供从AI辅助诊断、智能筛查、临床决策、患者服务到医疗大数据治理、科学研究、医生培训、能力建设等全链路的人工智能服务。强大的产品积淀也促进了深睿医疗与各大顶级医疗机构的产学研深度合作，截至目前深睿医疗在全球知名学术期刊上发表论文累计影响因子超1500，牵头或参与了7项国家科技部重大专项，15项国家自然科学基金项目及30多个省市级科研重点专项。

矢志创新，不断突破，深睿医疗切实把科研创新作为企业发展不竭的动力，依托“影像+文本”双AI引擎，以及多元化的AI产品矩阵，不断拓宽AI在医疗领域的应用场景，推进科研成果向临床应用转化，创造更多的新场景、新模式，开启医疗AI发展的新篇章。

论文引用信息 

Zhou, HY., Yu, Y., Wang, C. et al. A transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics. Nat. Biomed. Eng (2023).