AI医疗开创性研究：深度学习进行病变检索和匹配（31 PPT）

  新智元专栏  

【新智元导读】美国国立卫生研究院（NIH）的研究人员通过创建基于真实放射学影像的大型数据集，进行病变检索和匹配的研究。本文是相关研究在约翰霍普金斯大学 Sol Goldman国际会议上的演讲整理，该研究具有创新性的科学价值和临床价值。

论文地址：

http://www.cs.jhu.edu/~lelu/publication/DeepLesionGraph_CVPR2018_camera_ready.pdf

本文介绍了美国国立卫生研究院（NIH）最新的一篇CVPR论文“Deep Lesion Graphs in the Wild: Relationship Learning and Organization of SignifiCANt Radiology Image Findings in a Diverse Large-scale Lesion Database”（深度病变图：在不同的大规模病变数据库中，重要放射学图像发现的关系学习和组织），主要作者是闫柯和王潇崧等研究人员。







对于精准癌症影像诊断和治疗方案的选取，基于内容的retrieval和instance-level相似性的描述是很重要的。人类的癌症有很严重的长尾现象，并不是简单的分类或者regression; mapping X to Y就能很好解决，所以癌症的治疗和诊断本质上最重要的是个性化（personalization）。当有一个新的病人，医生最想知道的是在以前已经治疗过的病人里面有没有谁跟他是相似的。如果能够找出相似的病人，而且知道这些病人的治疗方案以及治疗结果，医生就可以更有针对性地来设计治疗方案。而且通过对相似病人的建模，可以知道每种治疗方案的风险性以及预后效果。


虽然每个大医院都存了上百万甚至上千万的病人数据，但是目前没有很好的办法来做相似性病人的检索。这篇文章的意义是以肿瘤图像（tumor image instance）为例子，打通了一个做这个方向的技术模型。该模型可以允许一个新的肿瘤图像在以前上万的肿瘤图像中检索相似的、而且又比较完整的tumor similarity graph，这对临床工作有很大的帮助。这方面的工作以前非常少，因此这篇文章是比较有前瞻意义的。


该研究的数据涉及4000多个病人的一万多个医学图像。既使在这个数据尺度下，因为计算能力的问题，人是很难做什么的。


计算医学本质上是为了去获取临床医生想要，需要但自己又没办法做到的东西。有的病人会问到大医生如果采取了A治疗方案，预后结果会怎么样，生存率有多高？现在都是基于经验去猜的，也不能定量的计算。这篇文章就是一个很好的例子，来逐步解决这个定量精准医疗的问题。相比之下，大家比较熟悉的肺节节检测问题，是属于另外一类的问题，本来就是医生也可以做，计算的目标是使用深度学习来做辅助诊断，主要以提高医生效率为目的。


这篇文章里面用到了32000多个医生测量过的significant clinical findings,，这些测量结果是放在医院PACS/RIS放射学数据库里面作为定量的references。我们的算法通过pair wise similarity graph可以针对图像分类，包括 intra-patient matching（在同一个病人的多次影像studies中，自动的把以前测量过的同一个肿瘤影像连起来）；并且允许跨病人的、基于图像相似性的检索（inter-patient similarity retrieval）。


背景

包含多样化的图像和密集注释的大规模数据集对于计算机视觉和医学图像研究都很重要

• 众包模式可以用于注释计算机视觉数据集，但医学图像（MI）需要专业知识和培训
  
• 通过Deep Learning挖掘互联网图像可用于计算机视觉以获取自动注释;
  

幸运的是，像计算机视觉中的网络数据一样，大量数据源以图像存档和通信系统（PACS / RIS）的形式存在。


那么，我们可以挖掘“非结构化但非常丰富的”PACS吗？



放射科医师在日常工作中可能会定期对放射学影像的某些显著的异常或“病变”进行标记和测量

• 多年来收集并存储在医院的PACS / RIS中
  
• 有时被称为“bookmarks”
  
• 用于评估患者的状况或治疗反应
  

“DeepLesion”数据集：

• 这些数据从NIH的PACS里的bookmarks挖掘而来
  
  

问题定义

• DeepLesion中的病变基本未排序，并且缺乏语义标签，例如肺结节，纵隔淋巴结
  

我们的目标是：通过“自动Instance-level的相似性建模和拓扑发现挖掘”，了解和组织大量的病变或肿瘤学发现
1. 发现他们的类型和位置
2. 从不同患者群体中发现相似的病变，即基于内容的检索
3. 跟踪同一患者几次纵向研究中的相同病变，即多次研究中的病变实例匹配或追踪




相关工作：

• 病变检索
  
  
• 病变匹配
  

监督提示（I）：病变类型

• 我们随机选择30％病灶并手动标记为8种类型：肺，腹部，纵隔，肝，骨盆，软组织，肾和骨
  
  
• 病变的粗糙属性
  

监督提示（II）：相对身体位置

• 在DeepLesion中，某些CT体积放在身体的一部分上，例如仅显示左半身
  
  
• SSBR在罕见的身体部位表现不佳，这些部位在训练组中的频率较低，例如头部和腿部
  
  

监督提示（III）：病灶大小

• 病变直径的长轴和短轴的长度
  
  
• 已由放射科医师进行注释和测量
  
• 范围从0.2到343毫米，中位数为15.6毫米
  
  
  

使用顺序采样构建Triplet Network




图3第4行有标签噪声，病变D与A～C（软组织与骨盆）的类型不同，


网络架构

• 主干：VGG-16
  
• Multi-scale, multi-crop
  
• 输出：对于每个病变实例，输出是一个1408D特征嵌入向量
  

病变组织：检索和匹配

• 基于内容的Inter-patient的检索：找到最近邻
  
• Intra-patient 的病变匹配：基于图形的edge pruning 
  

实现细节：图像预处理



实现细节：训练计划

• 位置和大小的每个维度的最大值归一化为1
  
• 每个mini-batch 24个five-instance序列
  
• 学习率为0.002的SGD
  
• 为了训练SSBR，我们使用了来自DeepLesion的420名受试者的800个随机未标记的CT volumes
  

实验

• DeepLesion的可视化：将病灶密集连接的超图投影到2D图（t-SNE）中
  
• 散点图的X轴和Y轴对应于每个病变相对身体位置的X和Z坐标
  

实验：病变检索

• 多尺度的深部病变外观矢量，通过Triplet Network对病灶类型、位置和大小进行编码
  

分析和发现

• 当位置和大小作为监督提示时，网络在病变类型检索方面表现最佳; 甚至比只使用病变类型作为提示时更好。
  
• 位置和大小提供了学习病变相似性嵌入的重要补充信息
  
• 仅使用 coarse-scale 特征（conv5，conv4）时， location稍好，因为location主要依赖更高级的上下文信息
  
• 融合 fine-level特征（conv3，conv2）可显着提高类型和大小预测的准确性
  
• 迭代病灶特征/类型细化也有帮助！
  

实验：分类
最容易混淆的类型是纵隔/肺部病变，以及腹部/肝脏/肾脏病变，因为其中一些在外观和位置上都相似。



实验：病变匹配

• 将DeepLesion中的103名患者的1313个病变手动分成593个组进行评估
  
• 每组1-11个病变
  
• true positive decision将同一实例的两个病变分配给同一组， false positive decision将两个不同实例的病变分配给同一组
  

定量病变匹配的精度非常高！


纵向病变匹配





结论


我们提供了一个大型、全面的数据集DeepLesion，其中包括从PACS挖掘的重要放射影像的findings


可用于多种类别的病变检测，检索，分类，分割......，这是开创性的研究


利用一个triplet network学习Lesion Graph Embedding，以对类型、位置和大小的相似关系进行建模

• 所需的唯一手动工作是某些种子图像的类别标签
  
• 非参数的深度放射学实例/知识表示
  

结果：（a）基于内容的inter-patient病变检索和（b） intra-patient的定性和定量的病变匹配