肺结节是早期肺癌的主要表现形式，准确检测肺结节对肺癌的早期诊断和治疗具有重要意义。然而，由于肺部计算机断层扫描（CT）图像背景复杂、检测范围大，且肺结节大小不一、形态各异，所以快速准确检测肺结节是一项极具挑战的工作。为此，本文提出了一种融合多尺度特征的肺结节自动检测算法，实现了肺结节的准确检测。首先，在用于大规模图像识别的深度卷积网络（VGG16）上设计了具有三层模块结构的肺结节检测模型，利用网络第一层模块提取 CT 图像中肺结节特征并粗略地估计肺结节位置；然后利用网络第二层模块融合多尺度的图像特征信息进一步增强肺结节细节特征；而网络第三层模块融合分析第一层和第二层模块的特征，得到多尺度下肺结节候选框；最后利用非极大值抑制方法对多尺度下肺结节候选框进行概率分析，得到最终的肺结节位置。本文应用肺部影像数据库联盟（LIDC）公共数据集上的肺结节数据对所提算法进行了验证，平均检测精度达到 90.9%。本研究成果可应用于肺结节自动筛查系统，有助于提升肺结节筛查精度。
引用本文： 刘秀玲, 戚帅帅, 熊鹏, 刘京, 王洪瑞, 杨建利. 融合多尺度信息的肺结节自动检测算法. 生物医学工程学杂志, 2020, 37(3): 434-441. doi: 10.7507/1001-5515.201910047 复制
引言
据统计，肺癌已经成为我国发病率和死亡率最高的恶性肿瘤[1]，其五年存活率大概为 14%[2]。肺结节是肺癌早期的临床表现，肺结节的精确检测对肺癌的精确诊断和治疗具有十分重要的作用，准确检测肺结节能大大提高肺癌患者的存活率。目前，计算机断层扫描（computed tomography，CT）技术已经成为临床诊断肺癌的有效方式，但由于肺结节形态多样、体积大小不一、位置分布不确定且容易与其他组织或器官粘连等特点，使准确检测肺结节变得十分困难。针对这一问题的研究早已展开，Jacobs 等[3]提出了一种计算机辅助 CT 图像中亚实性结节的检测系统，考虑到上下文特征，引入了一组新颖的背景信息，包括候选结节与肺边界、气道、血管和其他结节候选物的关系等，这些特征大大提高了系统的检测性能。Santos 等[4]开发一种用于自动检测肺小结节的肺结节检测方法，使用高斯混合模型对肺内的结构进行分割，并使用香农和茨萨里斯的变化熵作为纹理描述符来区分结节和非结节。Fan 等[5]提出了一种改进的利用区域建议网络实现实时目标检测的（towards real-time object detection with region proposal networks，Faster R-CNN）肺结节检测算法，在大规模图像识别的深度卷积网络（very deep convolutional networks for large-scale image recognition，VGG16）[6]的最后一层加入一层反卷积，以恢复第 5 层卷积的分辨率来提高肺结节的检测精度，最后检测精度为 90.3%。葛治文[7]采用特征金字塔网的 Faster R-CNN 用于肺结节检测，检测精度达到 89.5%。Pezeshk 等[8]训练了一个三维的全卷积神经网络用于肺结节的检测，训练集包含结节的阳性样本和不含结节的阴性样本组成，灵敏度为 80%。Xie 等[9]用两个区域建议网络（region proposal networks，RPN）和一个反卷积层来调整 Faster R-CNN 结构，以检测候选结节，并取三种不同层次的肺部 CT 切片图像为三种模型进行训练，然后对结果进行融合。最后，设计了一种基于二维卷积神经网络的假阳性减少结构，使结节检测的灵敏度达到了 86.42%。以上研究算法虽然在肺结节检测上取得了很好的效果，但是在微小结节检测上效果并不理想。
本文设计了具有三层模块结构的肺结节检测网络，通过融合多尺度的肺结节特征，将低层细节信息引入到高层特征中进行融合分析，最后在保证肺结节检测精度的前提下实现了对微小肺结节的精确检测，该项研究成果将有助于提升肺结节筛查系统中微小结节的检测精度。
1 肺结节自动检测算法实现
本文提出的融合多尺度信息的肺结节自动检测网络结构如图1 所示。首先在 VGG16 网络结构（包含 5 个卷积层：Conv1～Conv5；2 个全连接层）基础上，将尾部的两个全连接层 fc6 和 fc7 替换成卷积层 Conv_fc，并在 Conv_fc 后增加 Conv6 卷积层，并设计后 5 层为检测层的第一模块层；然后检测层的第二模块层通过反卷积（Deconv）生成不同尺度下的高分辨率特征图；而检测层的第三模块层融合了不同尺度下的特征图信息，得到不同尺度下的肺结节候选区域；最后通过非极大值抑制算法[10]对这些候选区域的置信度进行排序，产生最终的肺结节区域检测结果。
图1
肺结节自动检测算法实现框图
Figure1.
Block diagram of the realization of pulmonary nodules automatic detection algorithm
1.1 肺结节检测网络结构设计
检测层网络结构是本文算法的核心，依次由锚框优化模块、传输连接模块、目标检测模块三层网络模块构成，其组成结构如图2 所示，Conv3、Conv4、Conv5、Conv_fc、Conv6 表示卷积得到的特征图，其对应的 CONV3、CONV4、CONV5、CONV_FC、CONV6 表示融合不同尺度后的特征图。
图2
检测层网络结构
Figure2.
Network structure of detection layers
检测层锚框优化模块以 VGG16 前两层卷积网络提取的肺结节特征图作为输入，特征图经过该模块后会输出不同大小的特征图，能够对锚框正负样本进行分类并粗略地预估出肺结节的位置和概率得分，并滤除掉大量的简单负样本，有利于减少分类器的搜索空间，并且粗略地调整保留下来的锚框的位置和大小，提供更好的回归初始值。
检测层传输连接模块主要传输锚框优化模块中的特征，将目标检测模块产生的高层次特征图通过反卷积操作使之与锚框优化模块产生的低层次特征图尺寸相同，然后以像素点为单位对它们进行叠加融合，得到融合后的特征图。如图3 所示以目标检测模块的高层特征图 CONV6 和锚框优化模块的低层特征图 Conv_fc 融合为例（其它层融合与此相同）。首先在 Conv_fc 卷积过程中，卷积核大小为 3 × 3，步长为 1，通道数设为 256；因为不同层的特征图尺寸不同，所以 CONV6 要经过反卷积过程，使其与 Conv_fc 的特征图尺寸相同，其中反卷积核大小设为 4 × 4，步长为 2，通道数为 256；然后按像素点进行融合，再依次经过激活层（线性整流函数）、卷积层（卷积核大小为 3 × 3，步长为 1，通道数为 256）、激活层（线性整流函数）得到融合特征图 CONV_FC。
图3
高层特征图 CONV6 与低层特征图 Conv_fc 的融合过程
Figure3.
Fusion process of high-level feature map CONV6 and low-level feature map Conv_fc
目标检测模块基于锚框优化模块以及传输连接模块得到融合特征，通过精确回归准确地分出肺结节，并预测出肺结节的锚框位置和概率得分，从而得到不同尺度下的肺结节候选框区域。在候选区域计算中，对融合特征图进行两组 3 × 3 的卷积变换，其中一组输出每个候选框的位置（X, Y, W, H），其中 X、Y 是指默认候选框相对于真实标签框的中心坐标位置的偏移，W、H 分别表示默认候选框的宽和高。另一组卷积核输出每个候选框检测到的肺结节的概率。
检测层通过多尺度下特征的融合建立了不同层之间的联系，使网络中的特征图融合了不同大小、不同细节信息、不同语义信息的特征，提高了网络对不同大小肺结节的检测能力，从而提高了肺结节检测精度，本文算法设置的网络结构参数如表1 所示。
表1
检测层网络结构参数设置
Table1.
Setting of network structure parameters in detection layers
1.2 网络训练与优化
肺结节检测网络采用端到端的训练方式，通过卷积操作得到肺结节的候选框，并计算候选框和肺结节真实标签框之间的重合度。重合度采用杰卡德相似系数来衡量，其计算公式如式（1）所示。
 |
其中 A 表示肺结节真实标签框，B 表示肺结节候选框，A 和 B 的交集在 A、B 的并集中所占的比例称为 A 和 B 的杰卡德相似系数，用符号 J(A, B) 表示。
在候选框和真实标签框匹配中，杰卡德相似系数高于 0.5 的认为该候选框为正确检测框，将其标记为正样本。而杰卡德相似系数低于 0.5 的认为该候选框为错误检测框，标记为负样本。这样得到的负样本数远远大于正样本数，致使训练时正负样本严重不平衡。为了解决该问题，在网络训练中引入了困难样本挖掘方法，保留一些具有最高置信度的负样本，使负正样本之间的比例小于 3∶1。
为了得到最优的网络训练结果，本文采用梯度下降方式优化网络。网络的学习率初始值设为 0.000 1，每迭代 50 000 次，学习率下降 10 倍。动量参数设为 0.9，批次大小为 6。
2 实验结果分析与讨论
2.1 数据来源
本文选用的数据集来源于肺部影像数据库联盟（lung image database consortium，LIDC）国际公开数据库（网址：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI）[11]，数据库中包括 1 010 个患者，1 308 个数据，其中含有 CT 数据 1 018 个，总共有 7 371 个肺结节，在这些结节中至少被一名放射科医生确诊为结节且大于等于 3 mm 的肺结节个数有 2 669 个。本文以大于等于 3 mm 的肺结节图像构建训练集、验证集、测试集。由于一个肺结节会存在于多张连续 CT 切片图像上，最终构建的肺结节图像数为 5 300 张。5 300 张图像随机分配于训练集、验证集、测试集，所占比例分别为 6∶1∶3，所占切片数量分别为 3 180 张、530 张、1 590 张。
算法实现的软件环境为计算机操作系统 Ubuntu 16.04（Canonical，英国），处理器为高性能计算服务器（X10DRG-Q，思腾合力，中国），中央处理器（central processing unit，CPU）（Intel® Xeon® E5-2667 v4，3.20 GHz，内存为 192 G，美国），显卡为英伟达特斯拉 K80（GDDR5, NVIDIA, 中国），使用的深度学习框架为快速特征嵌入的卷积结构 Caffe（University of California, Berkeley，美国）。
2.2 网络结构参数设置
在检测层网络结构参数设置中，卷积层候选框尺寸的选择尤为关键。若候选框尺寸过小，候选框中包含的肺结节信息不完整，有可能造成肺结节的错误检测；若候选框尺寸过大，框内包含太多的背景信息，也会增加肺结节检测难度。如图4 所示，显示出了两种不同大小结节在不同候选框尺寸下的检测结果，每一行依次为大结节、小结节；每一列依次为金标准（图4 中的绿框部分，其代表肺结节的真实位置）和卷积层 Conv3 候选框尺寸为 4 × 4、8 × 8 和 16 × 16 的结节检测结果，图4 中的红框代表检测到的肺结节位置，带红色底纹的数字表示预测为肺结节的置信度。如图4 所示，对于小结节当卷积层 Conv3 的候选框尺寸由 8 × 8 变成 16 × 16 以后，得到结节检测结果的置信度明显降低（由 0.99 降为 0.75），而对于大结节当卷积层 Conv3 的候选框尺寸很小时，结节检测结果置信度仅为 0.72。综合考虑大小结节分布及候选框对其检测影响，最终确定检测层各卷积层候选框尺寸分别为 8 × 8、16 × 16、32 × 32、64 × 64、128 × 128。
图4
不同候选框尺寸检测结果
Figure4.
Detection results with different candidate box size
结节检测框的纵横比受结节形态变化影响，为了得到最优的结节检测结果，本文统计分析了不同纵横比组合下肺结节平均检测精度，如表2 所示。当纵横比为 1 时，肺结节平均检测精度为 90.6%；纵横比为 0.5 和 1 时，肺结节平均检测精度提升为 90.7%；当纵横比为 0.5、1 和 2 时，肺结节平均检测精度进一步提升为 90.9%。所以网络的纵横比最终确定为 0.5、1 和 2。
表2
不同纵横比组合下的肺结节平均检测精度
Table2.
Average detection accuracy of pulmonary nodules with different aspect ratios
2.3 实验结果
本文算法检测肺结节的结果如图5 所示，每一行依次为肺结节位置金标准图、本文方法检测结果；每一列依次为大结节、小结节和多个结节的类型图；绿色矩形框代表肺结节的真实位置，红色矩形框代表本文算法检测到的肺结节位置，带红色底纹的数字表示预测为肺结节的置信度。由此可以看出本文算法对大小结节均具有较好的检测结果，当一幅图像包含多个结节时，也能较好地检测出，且具有较高的置信度。
图5
肺结节检测结果
Figure5.
Images of pulmonary nodules detection
为了证明本文方法在肺结节检测中的优势，给出了当前流行算法，包括用于目标检测的单次精细化神经网络（single-shot refinement neural network for object detection，RefineDet[12]）、Faster R-CCN[13]、特征金字塔网络（feature pyramid networks，FPN）[14]和本文算法，对三类典型肺结节（血管粘连型结节、孤立型小结节和贴壁型结节）进行检测的对比结果。如图6 所示，每一行依次为肺结节位置金标准图、Faster R-CCN 检测结果、FPN 检测结果、RefineDet 检测结果、本文算法检测结果；每一列依次为血管粘连型结节、孤立型小结节、贴壁型结节；绿色矩形框代表肺结节的真实位置，红色矩形框代表检测到的肺结节位置，带红色底纹和蓝色底纹的数字表示预测为肺结节的置信度。
图6
肺结节检测效果图
Figure6.
Effect images of pulmonary nodules detection
从图6 中可以看出，Faster R-CNN 网络对微小结节的检测能力稍弱，不能在孤立型小结节图像中检测出结节，且容易产生多检问题。相比于 Faster R-CNN 网络，FPN 网络能够检测出微小结节，且具有较高的置信度，但同样存在多检问题，且多检的结节同样具有较高的置信度，很难通过参数控制去除。RefineDet 网络相比前两种网络，不仅能够精确检测微小结节，还解决了多检问题，且检出结节具有较高置信度。而本文算法在 RefineDet 基础上，进一步提升了检出结节的置信度，提升了算法对微小结节的检测能力。
为了更加精确对比几种算法的性能，本文给出了几种算法在相同实验数据集下的精确率-召回率曲线图，如图7 所示。纵坐标代表精确率，其表示正确检测出的肺结节数占检测出的总肺结节数的比例；横坐标代表召回率，其表示正确检测出的肺结节数占总样本标记肺结节数的比例。精确率和召回率计算公式分别如式（2）和（3）所示：
图7
肺结节测试结果精确率-召回率曲线
Figure7.
Precision-recall curves of pulmonary nodules detection
 |
 |
其中，TP 表示识别正确的样本数，FP 表示识别错误的样本数，FN 表示漏检数。
平均检测精度反映了模型的全局性能，是检测模型中的重要指标，它代表精确率和召回率两者组成的曲线下的面积，通过用不同的阈值统计出召回率和精确率的值。如表3 所示，统计出了在不同算法下肺结节的平均检测精度。从图7 和表3 中可以看出，代表本文算法的曲线位于其他三种算法的曲线之上，平均检测精度为 90.9%，检测性能最优；RefineDet 算法次之，平均检测精度为 90.7%；FPN 和 Faster R-CNN 算法稍差，平均检测精度分别为 89.7% 和 86.9%。
表3
不同算法的平均检测精度
Table3.
Average detection accuracy of different algorithms
3 总结
本文提出了一种融合多尺度特征的肺结节精确检测方法，在 VGG16 网络结构基础上通过加入特征融合网络层，将不同尺度下不同分辨率的特征图进行融合分析，建立了层与层之间的联系。通过不同尺度的特征融合，解决了卷积神经网络特征提取过程中随着网络层次加深，特征图尺寸变小，细节信息逐渐丢失的问题，尽可能多地保留了肺结节的位置、灰度和周围环境特征，实现了微小肺结节的准确检测。对微小肺结节自动筛查系统和临床肺结节辅助诊断系统建立具有十分重要的作用。
利益冲突声明：本文全体作者均声明不存在利益冲突。
引言
据统计，肺癌已经成为我国发病率和死亡率最高的恶性肿瘤[1]，其五年存活率大概为 14%[2]。肺结节是肺癌早期的临床表现，肺结节的精确检测对肺癌的精确诊断和治疗具有十分重要的作用，准确检测肺结节能大大提高肺癌患者的存活率。目前，计算机断层扫描（computed tomography，CT）技术已经成为临床诊断肺癌的有效方式，但由于肺结节形态多样、体积大小不一、位置分布不确定且容易与其他组织或器官粘连等特点，使准确检测肺结节变得十分困难。针对这一问题的研究早已展开，Jacobs 等[3]提出了一种计算机辅助 CT 图像中亚实性结节的检测系统，考虑到上下文特征，引入了一组新颖的背景信息，包括候选结节与肺边界、气道、血管和其他结节候选物的关系等，这些特征大大提高了系统的检测性能。Santos 等[4]开发一种用于自动检测肺小结节的肺结节检测方法，使用高斯混合模型对肺内的结构进行分割，并使用香农和茨萨里斯的变化熵作为纹理描述符来区分结节和非结节。Fan 等[5]提出了一种改进的利用区域建议网络实现实时目标检测的（towards real-time object detection with region proposal networks，Faster R-CNN）肺结节检测算法，在大规模图像识别的深度卷积网络（very deep convolutional networks for large-scale image recognition，VGG16）[6]的最后一层加入一层反卷积，以恢复第 5 层卷积的分辨率来提高肺结节的检测精度，最后检测精度为 90.3%。葛治文[7]采用特征金字塔网的 Faster R-CNN 用于肺结节检测，检测精度达到 89.5%。Pezeshk 等[8]训练了一个三维的全卷积神经网络用于肺结节的检测，训练集包含结节的阳性样本和不含结节的阴性样本组成，灵敏度为 80%。Xie 等[9]用两个区域建议网络（region proposal networks，RPN）和一个反卷积层来调整 Faster R-CNN 结构，以检测候选结节，并取三种不同层次的肺部 CT 切片图像为三种模型进行训练，然后对结果进行融合。最后，设计了一种基于二维卷积神经网络的假阳性减少结构，使结节检测的灵敏度达到了 86.42%。以上研究算法虽然在肺结节检测上取得了很好的效果，但是在微小结节检测上效果并不理想。
本文设计了具有三层模块结构的肺结节检测网络，通过融合多尺度的肺结节特征，将低层细节信息引入到高层特征中进行融合分析，最后在保证肺结节检测精度的前提下实现了对微小肺结节的精确检测，该项研究成果将有助于提升肺结节筛查系统中微小结节的检测精度。
1 肺结节自动检测算法实现
本文提出的融合多尺度信息的肺结节自动检测网络结构如图1 所示。首先在 VGG16 网络结构（包含 5 个卷积层：Conv1～Conv5；2 个全连接层）基础上，将尾部的两个全连接层 fc6 和 fc7 替换成卷积层 Conv_fc，并在 Conv_fc 后增加 Conv6 卷积层，并设计后 5 层为检测层的第一模块层；然后检测层的第二模块层通过反卷积（Deconv）生成不同尺度下的高分辨率特征图；而检测层的第三模块层融合了不同尺度下的特征图信息，得到不同尺度下的肺结节候选区域；最后通过非极大值抑制算法[10]对这些候选区域的置信度进行排序，产生最终的肺结节区域检测结果。
图1
肺结节自动检测算法实现框图
Figure1.
Block diagram of the realization of pulmonary nodules automatic detection algorithm
1.1 肺结节检测网络结构设计
检测层网络结构是本文算法的核心，依次由锚框优化模块、传输连接模块、目标检测模块三层网络模块构成，其组成结构如图2 所示，Conv3、Conv4、Conv5、Conv_fc、Conv6 表示卷积得到的特征图，其对应的 CONV3、CONV4、CONV5、CONV_FC、CONV6 表示融合不同尺度后的特征图。
图2
检测层网络结构
Figure2.
Network structure of detection layers
检测层锚框优化模块以 VGG16 前两层卷积网络提取的肺结节特征图作为输入，特征图经过该模块后会输出不同大小的特征图，能够对锚框正负样本进行分类并粗略地预估出肺结节的位置和概率得分，并滤除掉大量的简单负样本，有利于减少分类器的搜索空间，并且粗略地调整保留下来的锚框的位置和大小，提供更好的回归初始值。
检测层传输连接模块主要传输锚框优化模块中的特征，将目标检测模块产生的高层次特征图通过反卷积操作使之与锚框优化模块产生的低层次特征图尺寸相同，然后以像素点为单位对它们进行叠加融合，得到融合后的特征图。如图3 所示以目标检测模块的高层特征图 CONV6 和锚框优化模块的低层特征图 Conv_fc 融合为例（其它层融合与此相同）。首先在 Conv_fc 卷积过程中，卷积核大小为 3 × 3，步长为 1，通道数设为 256；因为不同层的特征图尺寸不同，所以 CONV6 要经过反卷积过程，使其与 Conv_fc 的特征图尺寸相同，其中反卷积核大小设为 4 × 4，步长为 2，通道数为 256；然后按像素点进行融合，再依次经过激活层（线性整流函数）、卷积层（卷积核大小为 3 × 3，步长为 1，通道数为 256）、激活层（线性整流函数）得到融合特征图 CONV_FC。
图3
高层特征图 CONV6 与低层特征图 Conv_fc 的融合过程
Figure3.
Fusion process of high-level feature map CONV6 and low-level feature map Conv_fc
目标检测模块基于锚框优化模块以及传输连接模块得到融合特征，通过精确回归准确地分出肺结节，并预测出肺结节的锚框位置和概率得分，从而得到不同尺度下的肺结节候选框区域。在候选区域计算中，对融合特征图进行两组 3 × 3 的卷积变换，其中一组输出每个候选框的位置（X, Y, W, H），其中 X、Y 是指默认候选框相对于真实标签框的中心坐标位置的偏移，W、H 分别表示默认候选框的宽和高。另一组卷积核输出每个候选框检测到的肺结节的概率。
检测层通过多尺度下特征的融合建立了不同层之间的联系，使网络中的特征图融合了不同大小、不同细节信息、不同语义信息的特征，提高了网络对不同大小肺结节的检测能力，从而提高了肺结节检测精度，本文算法设置的网络结构参数如表1 所示。
表1
检测层网络结构参数设置
Table1.
Setting of network structure parameters in detection layers
1.2 网络训练与优化
肺结节检测网络采用端到端的训练方式，通过卷积操作得到肺结节的候选框，并计算候选框和肺结节真实标签框之间的重合度。重合度采用杰卡德相似系数来衡量，其计算公式如式（1）所示。
|
其中 A 表示肺结节真实标签框，B 表示肺结节候选框，A 和 B 的交集在 A、B 的并集中所占的比例称为 A 和 B 的杰卡德相似系数，用符号 J(A, B) 表示。
在候选框和真实标签框匹配中，杰卡德相似系数高于 0.5 的认为该候选框为正确检测框，将其标记为正样本。而杰卡德相似系数低于 0.5 的认为该候选框为错误检测框，标记为负样本。这样得到的负样本数远远大于正样本数，致使训练时正负样本严重不平衡。为了解决该问题，在网络训练中引入了困难样本挖掘方法，保留一些具有最高置信度的负样本，使负正样本之间的比例小于 3∶1。
为了得到最优的网络训练结果，本文采用梯度下降方式优化网络。网络的学习率初始值设为 0.000 1，每迭代 50 000 次，学习率下降 10 倍。动量参数设为 0.9，批次大小为 6。
2 实验结果分析与讨论
2.1 数据来源
本文选用的数据集来源于肺部影像数据库联盟（lung image database consortium，LIDC）国际公开数据库（网址：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI）[11]，数据库中包括 1 010 个患者，1 308 个数据，其中含有 CT 数据 1 018 个，总共有 7 371 个肺结节，在这些结节中至少被一名放射科医生确诊为结节且大于等于 3 mm 的肺结节个数有 2 669 个。本文以大于等于 3 mm 的肺结节图像构建训练集、验证集、测试集。由于一个肺结节会存在于多张连续 CT 切片图像上，最终构建的肺结节图像数为 5 300 张。5 300 张图像随机分配于训练集、验证集、测试集，所占比例分别为 6∶1∶3，所占切片数量分别为 3 180 张、530 张、1 590 张。
算法实现的软件环境为计算机操作系统 Ubuntu 16.04（Canonical，英国），处理器为高性能计算服务器（X10DRG-Q，思腾合力，中国），中央处理器（central processing unit，CPU）（Intel® Xeon® E5-2667 v4，3.20 GHz，内存为 192 G，美国），显卡为英伟达特斯拉 K80（GDDR5, NVIDIA, 中国），使用的深度学习框架为快速特征嵌入的卷积结构 Caffe（University of California, Berkeley，美国）。
2.2 网络结构参数设置
在检测层网络结构参数设置中，卷积层候选框尺寸的选择尤为关键。若候选框尺寸过小，候选框中包含的肺结节信息不完整，有可能造成肺结节的错误检测；若候选框尺寸过大，框内包含太多的背景信息，也会增加肺结节检测难度。如图4 所示，显示出了两种不同大小结节在不同候选框尺寸下的检测结果，每一行依次为大结节、小结节；每一列依次为金标准（图4 中的绿框部分，其代表肺结节的真实位置）和卷积层 Conv3 候选框尺寸为 4 × 4、8 × 8 和 16 × 16 的结节检测结果，图4 中的红框代表检测到的肺结节位置，带红色底纹的数字表示预测为肺结节的置信度。如图4 所示，对于小结节当卷积层 Conv3 的候选框尺寸由 8 × 8 变成 16 × 16 以后，得到结节检测结果的置信度明显降低（由 0.99 降为 0.75），而对于大结节当卷积层 Conv3 的候选框尺寸很小时，结节检测结果置信度仅为 0.72。综合考虑大小结节分布及候选框对其检测影响，最终确定检测层各卷积层候选框尺寸分别为 8 × 8、16 × 16、32 × 32、64 × 64、128 × 128。
图4
不同候选框尺寸检测结果
Figure4.
Detection results with different candidate box size
结节检测框的纵横比受结节形态变化影响，为了得到最优的结节检测结果，本文统计分析了不同纵横比组合下肺结节平均检测精度，如表2 所示。当纵横比为 1 时，肺结节平均检测精度为 90.6%；纵横比为 0.5 和 1 时，肺结节平均检测精度提升为 90.7%；当纵横比为 0.5、1 和 2 时，肺结节平均检测精度进一步提升为 90.9%。所以网络的纵横比最终确定为 0.5、1 和 2。
表2
不同纵横比组合下的肺结节平均检测精度
Table2.
Average detection accuracy of pulmonary nodules with different aspect ratios
2.3 实验结果
本文算法检测肺结节的结果如图5 所示，每一行依次为肺结节位置金标准图、本文方法检测结果；每一列依次为大结节、小结节和多个结节的类型图；绿色矩形框代表肺结节的真实位置，红色矩形框代表本文算法检测到的肺结节位置，带红色底纹的数字表示预测为肺结节的置信度。由此可以看出本文算法对大小结节均具有较好的检测结果，当一幅图像包含多个结节时，也能较好地检测出，且具有较高的置信度。
图5
肺结节检测结果
Figure5.
Images of pulmonary nodules detection
为了证明本文方法在肺结节检测中的优势，给出了当前流行算法，包括用于目标检测的单次精细化神经网络（single-shot refinement neural network for object detection，RefineDet[12]）、Faster R-CCN[13]、特征金字塔网络（feature pyramid networks，FPN）[14]和本文算法，对三类典型肺结节（血管粘连型结节、孤立型小结节和贴壁型结节）进行检测的对比结果。如图6 所示，每一行依次为肺结节位置金标准图、Faster R-CCN 检测结果、FPN 检测结果、RefineDet 检测结果、本文算法检测结果；每一列依次为血管粘连型结节、孤立型小结节、贴壁型结节；绿色矩形框代表肺结节的真实位置，红色矩形框代表检测到的肺结节位置，带红色底纹和蓝色底纹的数字表示预测为肺结节的置信度。
图6
肺结节检测效果图
Figure6.
Effect images of pulmonary nodules detection
从图6 中可以看出，Faster R-CNN 网络对微小结节的检测能力稍弱，不能在孤立型小结节图像中检测出结节，且容易产生多检问题。相比于 Faster R-CNN 网络，FPN 网络能够检测出微小结节，且具有较高的置信度，但同样存在多检问题，且多检的结节同样具有较高的置信度，很难通过参数控制去除。RefineDet 网络相比前两种网络，不仅能够精确检测微小结节，还解决了多检问题，且检出结节具有较高置信度。而本文算法在 RefineDet 基础上，进一步提升了检出结节的置信度，提升了算法对微小结节的检测能力。
为了更加精确对比几种算法的性能，本文给出了几种算法在相同实验数据集下的精确率-召回率曲线图，如图7 所示。纵坐标代表精确率，其表示正确检测出的肺结节数占检测出的总肺结节数的比例；横坐标代表召回率，其表示正确检测出的肺结节数占总样本标记肺结节数的比例。精确率和召回率计算公式分别如式（2）和（3）所示：
图7
肺结节测试结果精确率-召回率曲线
Figure7.
Precision-recall curves of pulmonary nodules detection
|
|
其中，TP 表示识别正确的样本数，FP 表示识别错误的样本数，FN 表示漏检数。
平均检测精度反映了模型的全局性能，是检测模型中的重要指标，它代表精确率和召回率两者组成的曲线下的面积，通过用不同的阈值统计出召回率和精确率的值。如表3 所示，统计出了在不同算法下肺结节的平均检测精度。从图7 和表3 中可以看出，代表本文算法的曲线位于其他三种算法的曲线之上，平均检测精度为 90.9%，检测性能最优；RefineDet 算法次之，平均检测精度为 90.7%；FPN 和 Faster R-CNN 算法稍差，平均检测精度分别为 89.7% 和 86.9%。
表3
不同算法的平均检测精度
Table3.
Average detection accuracy of different algorithms
3 总结
本文提出了一种融合多尺度特征的肺结节精确检测方法，在 VGG16 网络结构基础上通过加入特征融合网络层，将不同尺度下不同分辨率的特征图进行融合分析，建立了层与层之间的联系。通过不同尺度的特征融合，解决了卷积神经网络特征提取过程中随着网络层次加深，特征图尺寸变小，细节信息逐渐丢失的问题，尽可能多地保留了肺结节的位置、灰度和周围环境特征，实现了微小肺结节的准确检测。对微小肺结节自动筛查系统和临床肺结节辅助诊断系统建立具有十分重要的作用。
利益冲突声明：本文全体作者均声明不存在利益冲突。
