当前位置:首页 >  科学 >  腾讯医典AI医学图像报告自动生成模型获CVPR录用

腾讯医典AI医学图像报告自动生成模型获CVPR录用

发布时间:2021-03-17 17:04编辑:小狐阅读: 177次 手机阅读

近日,全球计算机视觉三大顶会之一的CVPR(IEEE国际计算机视觉与模式识别会议)公布了2021年度的论文录用结果。医典AI与北京大学共同合作的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》凭借在医学图像报告自动生成领域的研究突破成功入选。CVPR在2020年谷歌学术排行榜人工智能领域中排名第一,本次大会共收到来自全球超7000份论文,最终1663篇论文获得录用,录用率仅为23.7%。

医学图像被广泛应用于诊断参考,基于肺部CT的新冠肺炎诊断也在疫情期间成为防控的关键。在医疗实践中,医生需要针对医学图像按标准撰写和输出医学报告。面对庞大的患者数量,为所有的图像逐一撰写报告占据了医生大量工作时间,不同医生的经验差异也使得部分图像中的异常被忽略,无法体现在报告中。如何借助人工智能快速、准确地自动生成报告,对于提升医生工作效率和服务质量具有重要的实用价值,也成为了近年医学图像研究领域中的一个重要课题。

然而,先进的医学图像报告自动生成也很容易受医学图像报告中的数据偏差误导。本次医典AI入选的论文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》创新地提出了后验-先验知识探索及蒸馏(PPKED)框架,模仿人类医生的判读方式,结合先验和后验知识来生成报告,以提高最终生成的医学报告质量,针对性弥补了这一不足。

腾讯医典AI医学图像报告自动生成模型获CVPR录用(图1)

模型中的先验探索(PrKE)模块,可以通过预构建包含心脏肥大、脊柱侧弯、钙化点、肺炎等常见异常特征信息的知识图谱,模拟医生学习过的医学知识,以更好地识别出各种图像中的异常。另一方面,通过在训练集中匹配、提取已知的相似图像和报告,可以与病人的历史报告做比对参考,模型亦在一定程度上模拟了医生根据自身丰富的经验来做决策的过程,实现利用先验知识来指导报告的生成。

腾讯医典AI医学图像报告自动生成模型获CVPR录用(图2)

在后验探索(PoKE)模块中,模型可实现将当前图像进行分类,模拟医生找寻图像异常的过程,大致框定异常的区域,提醒医生针对该区域做进一步识别处理。先验和后验知识在经过多领域知识蒸馏(MKD)模块的综合过滤后,将生成最终的报告。

腾讯医典AI医学图像报告自动生成模型获CVPR录用(图3)

这一创新模型在IU-Xray和MIMIC两个国际公认的公开数据集上,取得了比以往所有同类模型更好的结果,可以有效地生成更高质量的报告。

医学图像报告自动生成模型的论文登上人工智能领域第一的行业会议,是医典在人工智能领域的又一次深入探索。医典AI团队专注于医学知识图谱、医学自然语言理解、多模态深度学习等领域的研究,将持续在医学知识生成和推送、人工智能辅助诊疗等领域向行业输出切实可行的解决方案和领先技术,用科技提升医疗服务效率,助力医疗行业的数字化转型。

本文相关词条概念解析:

图像

图像(Picture)有多种含义,其中最常见的定义是指各种图形和影像的总称。在理科的学习以及日常的学习或统计中,图像都是必不可少的组成部分,它为人类构建了一个形象的思维模式,有助于我们学习、思考问题。

报告

报告是向上级机关汇报工作、反映情况、提出意见或者建议,答复上级机关的询问时使用的公文。报告使用范围很广。按照上级部署或工作计划,每完成一项任务,一般都要向上级写报告,反映工作中的基本情况、工作中取得的经验教训、存在的问题以及今后工作设想等,以取得上级领导部门的指导。

标签:
  • 网友评论
相关文章:

科学本月排行

科学精选