血涂片图像中白细胞的计数和识别对诊断包括白血病在内的血液疾病起着至关重要的作用。传统的人工检测结果容易受到多种因素的干扰，有必要开发白细胞自动分析系统为医生提供辅助诊断，而血液白细胞分割则是自动分析的基础。本文改进U-Net模型，提出一种基于双路径和空洞空间金字塔池化的血液白细胞分割算法。首先在特征编码器中引入双路径网络提取图像中白细胞的多尺度特征，并使用空洞空间金字塔池化模块强化网络的特征提取能力，再用卷积和反卷积组成特征解码器将分割目标恢复到原始图像大小，实现血液白细胞的像素级分割。最后在三个白细胞数据集上进行定性定量实验，验证本文算法的有效性。研究结果表明，提出的血液白细胞分割算法相对于其他典型方法具有更为优秀的分割结果，mIoU值能达到0.97以上，今后或有助于血液疾病的自动辅助诊断。
引用本文： 李佐勇, 卢妍, 曹新容, 邱立达, 秦雪君. 基于双路径和空洞空间金字塔池化的血液白细胞分割. 生物医学工程学杂志, 2022, 39(3): 471-479. doi: 10.7507/1001-5515.202107043 复制
引言
血涂片图像中白细胞（white blood cell，WBC）的计数和形态等信息是诊断包括白血病、肝炎、获得性免疫缺陷综合征等疾病的重要指标。传统的人工检验方式既费时又费力，检验的结果依赖医生的专业程度，且容易受到光照、亮度等环境的影响，因此有必要开发白细胞自动分析系统，帮助医生进行辅助诊断，而白细胞分割是进行白细胞自动分析的基础步骤。近年来，随着计算机技术的发展，白细胞图像的计算机辅助分割方法相继被提出。现有的白细胞分割方法通常可以分为无监督的分割方法和有监督的分割方法。
无监督的分割方法主要包括阈值分割[1-2]、聚类分割[3-4]和边缘检测分割[5]方法。阈值分割根据图像目标和背景区域灰度的差异来确定阈值，并使用该阈值将像素分为目标像素和背景像素。但阈值分割通常在高对比度的白细胞细胞核上效果较好，在低对比度的细胞质上效果则较差。聚类分割通过灰度、颜色、纹理形状等图像特征进行像素划分，但该方法难以选取合适的图像特征，且算法不稳定。边缘检测在细胞边界处运用图像特征提取目标边界，将目标与背景分离，但该方法在低对比度的物体边界上判断困难，检测效率较低。
有监督的分割方法将分割问题转化为分类问题。例如最近邻分类器（k-nearest neighbor，KNN）[6]和支持向量机（support vector machine，SVM）[7-8]等传统分类器先提取图像特征，再对提取的特征进行分类，完成白细胞的有监督分割。KNN通过对不同特征值的直接距离进行分类，但当样本数量不平衡时，KNN表现不佳，因此在小样本类上的分类准确性较低。SVM通过构建最佳分割超平面，从而实现图像像素分类，但其在非线性分类问题上难以达到理想状态。
传统的分类器在白细胞数据集上通常无法获得令人满意的分割结果。最近，基于卷积神经网络（convolutional neural network，CNN）的方法已广泛应用于计算机视觉领域，例如人脸识别[9-10]、目标检测[11-12]、图像去噪[13-14]和语义分割[15-16]。Mask R-CNN[17-18]在Faster R-CNN[19]上进行改进，在原有的用于识别的边界框分支上添加了用于预测的并行分支，可以同时实现目标检测和图像分割，但在小规模图像数据集上无法获得令人满意的结果。全卷积网络（fully convolutional network，FCN）[15]删除了传统卷积神经网络的全连接层，并使用上采样操作来实现端到端图像分割，但是其简单的结构限制了图像分割的性能。U-Net[16]是基于FCN改进的兼具编码-解码结构的网络，其中，编码器可实现特征提取，解码器可以恢复具有原始图像分辨率的特征图。U-Net在图像较小的数据集上效果较好，其编码-解码结构能更好地适用于医学图像分割方面，但是编码解码过程中的下采样和上采样操作会使特征图丢失细节。
为了解决上述问题，本文对U-Net进行改进，首先在网络的编码部分引入双路径网络（dual path network，DPN）[20]，充分利用残差网络（residual network，ResNet）[21]的特征复用和DenseNet[22]的特征生成能力，更好地提取目标特征；其次使用空洞空间金字塔池化（atrous spatial pyramid pooling，ASPP）[23]提取并分析目标不同尺度的特征；最后在跳跃连接时融合前一层的特征，从而获取更多的图像细节，减少图像恢复时的信息损失。
1 算法描述
U-Net是常用于医学图像分割的编码-解码结构网络，主要包括三个部分：编码器、解码器和跳跃连接。其中，编码器用于特征提取，解码器用于恢复特征图的大小，跳跃连接融合来自编码器和解码器的对应特征。为了更好地提高血涂片图像中白细胞的分割精度，本文网络在U-Net的基础上进行改进，其结构如图1所示。改进网络分为三个阶段：特征编码器、特征细化模块和特征解码器。左边部分的特征编码器是结合了ResNet和DenseNet组成的双路径网络，用以实现白细胞的特征提取。中间部分的特征细化模块采用ASPP，使用不同的空洞率并行提取特征，进而增强网络的特征提取能力。右边部分的特征解码器是由卷积和反卷积组成的，用来恢复白细胞特征图大小。网络的跳跃连接实现了特征编码器、特征解码器以及上一层特征的有效融合，可以更好地恢复目标图像的细节信息。
图1
本文网络结构
Figure1.
Architecture of the proposed method
1.1 双路径网络
一般来说，在深度学习中，网络越深，训练效果越好。但是随着网络的不断加深，也会出现一些问题，例如梯度消失、梯度爆炸等。这是由于在训练的时候，随着网络层数的增加，反向传播的特征值不能很好地传到浅层特征，即浅层特征不能很好地得到训练。因为训练的参数和深层特征相关性较大，一段时间后梯度不再变化，就会出现网络加深、训练精度却降低的现象。He等[21]提出的ResNet解决了这个问题。与传统卷积网络学习输入和输出的映射不同，ResNet主要学习输入和输出之间的残差，相比直接学习特征，残差学习更为容易。从图2可以看到，ResNet在输入输出之间添加了一条恒等快捷连接，这些恒等快捷连接使得强大的有参数层可以集中精力学习输入、输出之间的残差，在增加网络深度的同时也可以取得更好的学习效果。
图2
ResNet块和DenseNet块的结构
Figure2.
Architecture of ResNet and DenseNet block
DenseNet借鉴ResNet的思想，在Dense Block中的每层输入都是来自前面全部层的输出，而该层所学习的特征图也是直接传给下一层。与ResNet相比，DenseNet具有更少的参数，并且可以直接叠加前面层输出的特征图实现特征重用，并通过跳跃连接实现跨层连接，将每一层的梯度传递给下一层。如此，DenseNet网络不仅更容易训练且有一定的正则化效果，同时还可以缓解梯度消失和模型退化问题。
在特征编码器中采用了双路径网络，结构如图3所示。双路径网络有两条分支路径：ResNet路径（紫色块）和DenseNet路径（绿色块），将两个不同路径上的结果组合起来，使其成为下一个节点的输入。ResNet直接把前面层的输出传给下一层，实现特征重用，但ResNet不善于探索新特性。DenseNet每一层的输入都是来自前面的层，可以从前面的层提取新的特征，但有着较高的冗余。双路径网络结合两者的优点，能更有效地利用这些特性，实现特征重用和新特征的探索。
图3
DPN的结构
Figure3.
Architecture of DPN
1.2 空洞空间金字塔池化
在深度学习中，通常用卷积来进行特征提取。而当使用的卷积过多时，容易导致参数过多、权重优化较难等。在和卷积有着同样的参数时，空洞卷积有着更大的感受野。空洞卷积主要是在标准的卷积图上注入空洞，增大了感受野且使每个卷积输出都包含更多的信息。图4显示了不同空洞率的空洞卷积。图4a是3 × 3的空洞卷积且空洞率为1，它和标准的3 × 3卷积操作是一样的；图4b实际的卷积核也是3 × 3的，但是它的空洞率为2，因此相当于感受野已经增大到了和7 × 7的卷积一样；图4c实际的卷积核也是3 × 3的，但是它的空洞率为4，相当于感受野已经增大到了15 × 15；从上面可以看出，空洞卷积增大了感受野且使每个卷积输出都包含更多的信息。
图4
不同空洞率的空洞卷积
a. 空洞率为1；b. 空洞率为2；c. 空洞率为4
Figure4. Dilated convolutions with different dilated ratesa. rate=1; b. rate=2; c. rate=4
空洞空间金字塔池化模块将使用不同空洞率的空洞卷积并行地进行采样，如图5所示，空洞金字塔首先将图像输入到一个1 × 1卷积、池化金字塔（三个3 × 3空洞卷积）和空洞池化层（池化、1 × 1卷积、上采样操作），之后分别将对应得到的结果拼接起来。池化金字塔中，三个空洞卷积设置的空洞率分别为6、12、18，通过设置不同的空洞率，获取不同的感受野，从而进行多尺度特征提取。空洞池化层中池化操作先将特征图压缩至1×1以提取全局特征，使用1 × 1卷积进一步提取特征，上采样操作将特征图恢复为原图大小。在编码解码结构的中间部分加上空洞空间金字塔池化模块，以进一步强化特征的提取。
图5
空洞空间金字塔池化
Figure5.
Atrous spatial pyramid pooling
2 实验结果与分析
为了验证算法的性能，将本文提出的算法和五种经典算法包括SVM[8]、FCN[15]、U-Net[16]、TernausNet[24]和WBC-Net[25]等，在三个具有不同特点的数据集上进行定性和定量分析。同时，通过不同模块的消融实验，对比证明本文算法的优良性能。
2.1 数据集
实验使用了三个白细胞图像数据集。数据集1[8]由江西特康科技公司收集，其中包含300张单独的白细胞图像（176张嗜中性粒细胞图像、22张嗜酸性粒细胞图像、1张嗜碱性粒细胞图像、48张单核细胞图像和53张淋巴细胞图像），尺寸为120 × 120。数据集2[8]来源于CellVision，包含100张单独的白细胞图像（30张嗜中性粒细胞图像、12张嗜酸性粒细胞图像、3张嗜碱性粒细胞图像、18张单核细胞图像和37张淋巴细胞图像），尺寸为300 × 300。数据集3是从福建省第三人民医院收集的，包含231张白细胞图像（49张嗜中性粒细胞图像、49张嗜酸性粒细胞图像、44张嗜碱性粒细胞图像、43张单核细胞图像和46张淋巴细胞图像），尺寸为2 048 × 536。我们对三个数据集分别进行了水平旋转、缩放和平移等数据增强操作，将每个数据集的图片扩充到2 500张。然后，随机抽取每个数据集中80%的图像构建训练集，剩余20%的图像作为算法性能的测试集数据。
数据集1中的图像是在快速染色条件下获取的，有白色和黄色两种不同的背景颜色，并且与细胞质颜色相近，因此，在白细胞分割的同时还需要分辨细胞质和背景，成为细胞分割的难点之一。数据集2是标准染色条件下获取的，但是其中大多数的白细胞与红细胞发生了粘连，因此，如何正确分割粘连的红细胞与白细胞是数据集2的主要难题。数据集3是在标准染色条件下获取的，其中白细胞的区域占整个图片的比例较少，分割难度更大。
2.2 评价指标
为了定量评估不同算法获得的白细胞分割结果，本文主要使用以下几种评价指标：精度（precision）[26]、Dice系数[27]、平均交并比（mean intersection over union，mIoU）[28]、错分类误差（misclassification error，ME）[29]、假正率（false positive rate，FPR）[30]以及假负率（false negative rate，FNR）[25]。这些测度的定义为：
 |
 |
 |
 |
 |
 |
其中，Pf和Pb分别表示预测的分割结果中的目标和背景，Gf和Gb分别表示手动分割结果中的目标和背景。测度的取值范围为0～1。Precision、Dice和mIoU的值越高，表示分割精度越高；ME、FPR和FNR的值越小，表示分割精度越高。
2.3 定量分析
表1分别列出了各种算法在三个图像数据集六种测度的平均值，其中最优值用加粗标出。从表1可以看出，在数据集1和数据集2中（即背景差异较大的数据集和红白细胞粘连数据集中），本文算法的Precision、Dice和mIoU值最高而Me和FPR值最低。在数据集3中（即在背景与目标像素不均衡的数据集中），本文算法的Dice和mIoU值最高而ME、FPR和FNR值最低。总的来说本文算法在三个数据集上均具有最佳的分割性能。传统的SVM算法在数据集1和数据集3的分割结果较差，在数据集2上的分割结果位列第三。U-Net算法在数据集1上取得了次优的结果。TernausNet在数据集2和数据集3上的分割结果位列第三。WBC-Net则在三个数据集上均有较好的性能，但略弱于本文算法。相比其他深度学习算法，FCN算法则在三个数据集上的结果较差。由于数据集3的白细胞区域占整个图片的比例较少，分割难度相较前两个数据集更大，所以各种算法都表现出相对于数据集1和数据集2更差的分割结果。
表1
三个数据集上不同算法的定量比较
Table1.
Quantitative comparison of different algorithms on three datasets
为了验证本文提出的算法模型的性能指标，进行了消融实验。分别缺失DPN、ResNet、DenseNet和ASPP等模块测试算法性能，结果如表2所示。消融实验结果表明，本文算法建立的网络模型能获得更优的性能指标。
表2
三个数据集上的消融实验
Table2.
Ablation experiments on three datasets
2.4 定性分析
应用本文提出的分割算法和其他五种经典算法从三个数据集中各自随机选取四张图像分别完成白细胞分割，结果如图6～8所示。对于不同数据集的图像，各种算法表现出不同的分割效果，在定性分析中将目标白细胞分割为背景称为欠分割，将背景分割为白细胞目标则称为过分割。从图6可以看出，对数据集1的细胞分割，SVM存在明显的过分割和欠分割现象，FCN、U-Net、TernausNet和WBC-Net则存在欠分割现象。而对于数据集2，SVM、FCN和U-Net都存在欠分割和过分割的现象，TernausNet和WBC-Net则主要存在过分割现象，如图7所示。从图8可以看出，SVM、U-Net、TernausNet和WBC-Net对数据集3的分割结果都存在过分割和欠分割现象，而FCN存在过分割现象。
图6
不同方法在数据集1上的分割结果
Figure6.
Segmentation results of different methods on dataset 1
图7
不同方法在数据集2上的分割结果
Figure7.
Segmentation results of different methods on dataset 2
图8
不同方法在数据集3上的分割结果
Figure8.
Segmentation results of different methods on dataset 3
本文选择的3个数据集充分体现了医学图像存在的目标与背景的区分程度弱、像素分布不均衡、随机性强等特点。通过3个数据集图像分割结果的直观对比，可以看出本文算法能满足医学图像的需求，在应用中可以获得更好的分割效果，该研究成果有助于血液疾病的辅助诊断。
3 总结与展望
本文在U-Net的基础上，提出了一种基于双路径网络和空洞金字塔的白细胞图像分割网络。具体来说，首先该网络的编码器使用双路径网络来提取多尺度图像特征。其次引入空洞金字塔使用不同的空洞率并行地提取白细胞特征。最后，通过解码器重构白细胞分割特征图，并利用跳跃连接融合编码器和解码器对应特征以及编码器前一层特征。定量和定性的实验结果均表明本文提出的算法相较其他模型，拥有更高的分割精度。
但是，由于编码解码操作使得数据存在一些细节的损失，后续需对损失的边缘进行优化处理，以获得更高的实验精度。同时，仍需收集更多的白细胞图像数据，对白细胞的自动定位和分类等进行深入研究。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：李佐勇负责方法设计与论文写作，卢妍负责实验设计与数据解释，曹新容负责数据分析与写作编辑，邱立达负责数据分析，秦雪君负责数据收集整理。
引言
血涂片图像中白细胞（white blood cell，WBC）的计数和形态等信息是诊断包括白血病、肝炎、获得性免疫缺陷综合征等疾病的重要指标。传统的人工检验方式既费时又费力，检验的结果依赖医生的专业程度，且容易受到光照、亮度等环境的影响，因此有必要开发白细胞自动分析系统，帮助医生进行辅助诊断，而白细胞分割是进行白细胞自动分析的基础步骤。近年来，随着计算机技术的发展，白细胞图像的计算机辅助分割方法相继被提出。现有的白细胞分割方法通常可以分为无监督的分割方法和有监督的分割方法。
无监督的分割方法主要包括阈值分割[1-2]、聚类分割[3-4]和边缘检测分割[5]方法。阈值分割根据图像目标和背景区域灰度的差异来确定阈值，并使用该阈值将像素分为目标像素和背景像素。但阈值分割通常在高对比度的白细胞细胞核上效果较好，在低对比度的细胞质上效果则较差。聚类分割通过灰度、颜色、纹理形状等图像特征进行像素划分，但该方法难以选取合适的图像特征，且算法不稳定。边缘检测在细胞边界处运用图像特征提取目标边界，将目标与背景分离，但该方法在低对比度的物体边界上判断困难，检测效率较低。
有监督的分割方法将分割问题转化为分类问题。例如最近邻分类器（k-nearest neighbor，KNN）[6]和支持向量机（support vector machine，SVM）[7-8]等传统分类器先提取图像特征，再对提取的特征进行分类，完成白细胞的有监督分割。KNN通过对不同特征值的直接距离进行分类，但当样本数量不平衡时，KNN表现不佳，因此在小样本类上的分类准确性较低。SVM通过构建最佳分割超平面，从而实现图像像素分类，但其在非线性分类问题上难以达到理想状态。
传统的分类器在白细胞数据集上通常无法获得令人满意的分割结果。最近，基于卷积神经网络（convolutional neural network，CNN）的方法已广泛应用于计算机视觉领域，例如人脸识别[9-10]、目标检测[11-12]、图像去噪[13-14]和语义分割[15-16]。Mask R-CNN[17-18]在Faster R-CNN[19]上进行改进，在原有的用于识别的边界框分支上添加了用于预测的并行分支，可以同时实现目标检测和图像分割，但在小规模图像数据集上无法获得令人满意的结果。全卷积网络（fully convolutional network，FCN）[15]删除了传统卷积神经网络的全连接层，并使用上采样操作来实现端到端图像分割，但是其简单的结构限制了图像分割的性能。U-Net[16]是基于FCN改进的兼具编码-解码结构的网络，其中，编码器可实现特征提取，解码器可以恢复具有原始图像分辨率的特征图。U-Net在图像较小的数据集上效果较好，其编码-解码结构能更好地适用于医学图像分割方面，但是编码解码过程中的下采样和上采样操作会使特征图丢失细节。
为了解决上述问题，本文对U-Net进行改进，首先在网络的编码部分引入双路径网络（dual path network，DPN）[20]，充分利用残差网络（residual network，ResNet）[21]的特征复用和DenseNet[22]的特征生成能力，更好地提取目标特征；其次使用空洞空间金字塔池化（atrous spatial pyramid pooling，ASPP）[23]提取并分析目标不同尺度的特征；最后在跳跃连接时融合前一层的特征，从而获取更多的图像细节，减少图像恢复时的信息损失。
1 算法描述
U-Net是常用于医学图像分割的编码-解码结构网络，主要包括三个部分：编码器、解码器和跳跃连接。其中，编码器用于特征提取，解码器用于恢复特征图的大小，跳跃连接融合来自编码器和解码器的对应特征。为了更好地提高血涂片图像中白细胞的分割精度，本文网络在U-Net的基础上进行改进，其结构如图1所示。改进网络分为三个阶段：特征编码器、特征细化模块和特征解码器。左边部分的特征编码器是结合了ResNet和DenseNet组成的双路径网络，用以实现白细胞的特征提取。中间部分的特征细化模块采用ASPP，使用不同的空洞率并行提取特征，进而增强网络的特征提取能力。右边部分的特征解码器是由卷积和反卷积组成的，用来恢复白细胞特征图大小。网络的跳跃连接实现了特征编码器、特征解码器以及上一层特征的有效融合，可以更好地恢复目标图像的细节信息。
图1
本文网络结构
Figure1.
Architecture of the proposed method
1.1 双路径网络
一般来说，在深度学习中，网络越深，训练效果越好。但是随着网络的不断加深，也会出现一些问题，例如梯度消失、梯度爆炸等。这是由于在训练的时候，随着网络层数的增加，反向传播的特征值不能很好地传到浅层特征，即浅层特征不能很好地得到训练。因为训练的参数和深层特征相关性较大，一段时间后梯度不再变化，就会出现网络加深、训练精度却降低的现象。He等[21]提出的ResNet解决了这个问题。与传统卷积网络学习输入和输出的映射不同，ResNet主要学习输入和输出之间的残差，相比直接学习特征，残差学习更为容易。从图2可以看到，ResNet在输入输出之间添加了一条恒等快捷连接，这些恒等快捷连接使得强大的有参数层可以集中精力学习输入、输出之间的残差，在增加网络深度的同时也可以取得更好的学习效果。
图2
ResNet块和DenseNet块的结构
Figure2.
Architecture of ResNet and DenseNet block
DenseNet借鉴ResNet的思想，在Dense Block中的每层输入都是来自前面全部层的输出，而该层所学习的特征图也是直接传给下一层。与ResNet相比，DenseNet具有更少的参数，并且可以直接叠加前面层输出的特征图实现特征重用，并通过跳跃连接实现跨层连接，将每一层的梯度传递给下一层。如此，DenseNet网络不仅更容易训练且有一定的正则化效果，同时还可以缓解梯度消失和模型退化问题。
在特征编码器中采用了双路径网络，结构如图3所示。双路径网络有两条分支路径：ResNet路径（紫色块）和DenseNet路径（绿色块），将两个不同路径上的结果组合起来，使其成为下一个节点的输入。ResNet直接把前面层的输出传给下一层，实现特征重用，但ResNet不善于探索新特性。DenseNet每一层的输入都是来自前面的层，可以从前面的层提取新的特征，但有着较高的冗余。双路径网络结合两者的优点，能更有效地利用这些特性，实现特征重用和新特征的探索。
图3
DPN的结构
Figure3.
Architecture of DPN
1.2 空洞空间金字塔池化
在深度学习中，通常用卷积来进行特征提取。而当使用的卷积过多时，容易导致参数过多、权重优化较难等。在和卷积有着同样的参数时，空洞卷积有着更大的感受野。空洞卷积主要是在标准的卷积图上注入空洞，增大了感受野且使每个卷积输出都包含更多的信息。图4显示了不同空洞率的空洞卷积。图4a是3 × 3的空洞卷积且空洞率为1，它和标准的3 × 3卷积操作是一样的；图4b实际的卷积核也是3 × 3的，但是它的空洞率为2，因此相当于感受野已经增大到了和7 × 7的卷积一样；图4c实际的卷积核也是3 × 3的，但是它的空洞率为4，相当于感受野已经增大到了15 × 15；从上面可以看出，空洞卷积增大了感受野且使每个卷积输出都包含更多的信息。
图4
不同空洞率的空洞卷积
a. 空洞率为1；b. 空洞率为2；c. 空洞率为4
Figure4. Dilated convolutions with different dilated ratesa. rate=1; b. rate=2; c. rate=4
空洞空间金字塔池化模块将使用不同空洞率的空洞卷积并行地进行采样，如图5所示，空洞金字塔首先将图像输入到一个1 × 1卷积、池化金字塔（三个3 × 3空洞卷积）和空洞池化层（池化、1 × 1卷积、上采样操作），之后分别将对应得到的结果拼接起来。池化金字塔中，三个空洞卷积设置的空洞率分别为6、12、18，通过设置不同的空洞率，获取不同的感受野，从而进行多尺度特征提取。空洞池化层中池化操作先将特征图压缩至1×1以提取全局特征，使用1 × 1卷积进一步提取特征，上采样操作将特征图恢复为原图大小。在编码解码结构的中间部分加上空洞空间金字塔池化模块，以进一步强化特征的提取。
图5
空洞空间金字塔池化
Figure5.
Atrous spatial pyramid pooling
2 实验结果与分析
为了验证算法的性能，将本文提出的算法和五种经典算法包括SVM[8]、FCN[15]、U-Net[16]、TernausNet[24]和WBC-Net[25]等，在三个具有不同特点的数据集上进行定性和定量分析。同时，通过不同模块的消融实验，对比证明本文算法的优良性能。
2.1 数据集
实验使用了三个白细胞图像数据集。数据集1[8]由江西特康科技公司收集，其中包含300张单独的白细胞图像（176张嗜中性粒细胞图像、22张嗜酸性粒细胞图像、1张嗜碱性粒细胞图像、48张单核细胞图像和53张淋巴细胞图像），尺寸为120 × 120。数据集2[8]来源于CellVision，包含100张单独的白细胞图像（30张嗜中性粒细胞图像、12张嗜酸性粒细胞图像、3张嗜碱性粒细胞图像、18张单核细胞图像和37张淋巴细胞图像），尺寸为300 × 300。数据集3是从福建省第三人民医院收集的，包含231张白细胞图像（49张嗜中性粒细胞图像、49张嗜酸性粒细胞图像、44张嗜碱性粒细胞图像、43张单核细胞图像和46张淋巴细胞图像），尺寸为2 048 × 536。我们对三个数据集分别进行了水平旋转、缩放和平移等数据增强操作，将每个数据集的图片扩充到2 500张。然后，随机抽取每个数据集中80%的图像构建训练集，剩余20%的图像作为算法性能的测试集数据。
数据集1中的图像是在快速染色条件下获取的，有白色和黄色两种不同的背景颜色，并且与细胞质颜色相近，因此，在白细胞分割的同时还需要分辨细胞质和背景，成为细胞分割的难点之一。数据集2是标准染色条件下获取的，但是其中大多数的白细胞与红细胞发生了粘连，因此，如何正确分割粘连的红细胞与白细胞是数据集2的主要难题。数据集3是在标准染色条件下获取的，其中白细胞的区域占整个图片的比例较少，分割难度更大。
2.2 评价指标
为了定量评估不同算法获得的白细胞分割结果，本文主要使用以下几种评价指标：精度（precision）[26]、Dice系数[27]、平均交并比（mean intersection over union，mIoU）[28]、错分类误差（misclassification error，ME）[29]、假正率（false positive rate，FPR）[30]以及假负率（false negative rate，FNR）[25]。这些测度的定义为：
|
|
|
|
|
|
其中，Pf和Pb分别表示预测的分割结果中的目标和背景，Gf和Gb分别表示手动分割结果中的目标和背景。测度的取值范围为0～1。Precision、Dice和mIoU的值越高，表示分割精度越高；ME、FPR和FNR的值越小，表示分割精度越高。
2.3 定量分析
表1分别列出了各种算法在三个图像数据集六种测度的平均值，其中最优值用加粗标出。从表1可以看出，在数据集1和数据集2中（即背景差异较大的数据集和红白细胞粘连数据集中），本文算法的Precision、Dice和mIoU值最高而Me和FPR值最低。在数据集3中（即在背景与目标像素不均衡的数据集中），本文算法的Dice和mIoU值最高而ME、FPR和FNR值最低。总的来说本文算法在三个数据集上均具有最佳的分割性能。传统的SVM算法在数据集1和数据集3的分割结果较差，在数据集2上的分割结果位列第三。U-Net算法在数据集1上取得了次优的结果。TernausNet在数据集2和数据集3上的分割结果位列第三。WBC-Net则在三个数据集上均有较好的性能，但略弱于本文算法。相比其他深度学习算法，FCN算法则在三个数据集上的结果较差。由于数据集3的白细胞区域占整个图片的比例较少，分割难度相较前两个数据集更大，所以各种算法都表现出相对于数据集1和数据集2更差的分割结果。
表1
三个数据集上不同算法的定量比较
Table1.
Quantitative comparison of different algorithms on three datasets
为了验证本文提出的算法模型的性能指标，进行了消融实验。分别缺失DPN、ResNet、DenseNet和ASPP等模块测试算法性能，结果如表2所示。消融实验结果表明，本文算法建立的网络模型能获得更优的性能指标。
表2
三个数据集上的消融实验
Table2.
Ablation experiments on three datasets
2.4 定性分析
应用本文提出的分割算法和其他五种经典算法从三个数据集中各自随机选取四张图像分别完成白细胞分割，结果如图6～8所示。对于不同数据集的图像，各种算法表现出不同的分割效果，在定性分析中将目标白细胞分割为背景称为欠分割，将背景分割为白细胞目标则称为过分割。从图6可以看出，对数据集1的细胞分割，SVM存在明显的过分割和欠分割现象，FCN、U-Net、TernausNet和WBC-Net则存在欠分割现象。而对于数据集2，SVM、FCN和U-Net都存在欠分割和过分割的现象，TernausNet和WBC-Net则主要存在过分割现象，如图7所示。从图8可以看出，SVM、U-Net、TernausNet和WBC-Net对数据集3的分割结果都存在过分割和欠分割现象，而FCN存在过分割现象。
图6
不同方法在数据集1上的分割结果
Figure6.
Segmentation results of different methods on dataset 1
图7
不同方法在数据集2上的分割结果
Figure7.
Segmentation results of different methods on dataset 2
图8
不同方法在数据集3上的分割结果
Figure8.
Segmentation results of different methods on dataset 3
本文选择的3个数据集充分体现了医学图像存在的目标与背景的区分程度弱、像素分布不均衡、随机性强等特点。通过3个数据集图像分割结果的直观对比，可以看出本文算法能满足医学图像的需求，在应用中可以获得更好的分割效果，该研究成果有助于血液疾病的辅助诊断。
3 总结与展望
本文在U-Net的基础上，提出了一种基于双路径网络和空洞金字塔的白细胞图像分割网络。具体来说，首先该网络的编码器使用双路径网络来提取多尺度图像特征。其次引入空洞金字塔使用不同的空洞率并行地提取白细胞特征。最后，通过解码器重构白细胞分割特征图，并利用跳跃连接融合编码器和解码器对应特征以及编码器前一层特征。定量和定性的实验结果均表明本文提出的算法相较其他模型，拥有更高的分割精度。
但是，由于编码解码操作使得数据存在一些细节的损失，后续需对损失的边缘进行优化处理，以获得更高的实验精度。同时，仍需收集更多的白细胞图像数据，对白细胞的自动定位和分类等进行深入研究。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：李佐勇负责方法设计与论文写作，卢妍负责实验设计与数据解释，曹新容负责数据分析与写作编辑，邱立达负责数据分析，秦雪君负责数据收集整理。
