勾画危及器官是放射治疗中的重要环节。目前人工勾画的方式依赖于医生的知识和经验，非常耗时且难以保证勾画准确性、一致性和重复性。为此，本研究提出一种深度卷积神经网络，用于头颈部危及器官的自动和精确勾画。研究回顾了 496 例鼻咽癌患者数据，随机选择 376 例用于训练集，60 例用于验证集，60 例作为测试集。使用三维（3D）U-NET 深度卷积神经网络结构，结合 Dice Loss 和 Generalized Dice Loss 两种损失函数训练头颈部危及器官自动勾画深度卷积神经网络模型，评估参数为 Dice 相似性系数和 Jaccard 距离。19 种危及器官 Dice 相似性指数平均达到 0.91，Jaccard 距离平均值为 0.15。研究结果显示基于 3D U-NET 深度卷积神经网络结合 Dice 损失函数可以较好地应用于头颈部危及器官的自动勾画。
引用本文： 戴相昆, 王小深, 杜乐辉, 马娜, 徐寿平, 蔡博宁, 王树鑫, 王忠国, 曲宝林. 基于三维 U-NET 深度卷积神经网络的头颈部危及器官的自动勾画. 生物医学工程学杂志, 2020, 37(1): 136-141. doi: 10.7507/1001-5515.201903052 复制
引言
目前人工智能在放射治疗危及器官（organ at risk，OAR）自动分割方面的应用发展较快，特别是基于深度学习方法在图像分割中的应用[1-3]。通常临床工作中危及器官勾画主要由医师手工完成，勾画质量和效率受人为因素影响较大。随着图像处理技术的快速发展，多种商业软件均推出自动勾画功能并投入临床使用，但大多基于灰度值分割、边缘检测、图谱库等方法进行自动分割。基于灰度值或边缘检测方法受到灰度值变化的影响，特别对于灰度梯度不明显的相邻器官其分割结果不够理想；基于图谱方法实现图像自动分割依赖于图谱库中的数据质量，同样存在危及器官和周围组织边界不明显时效果不够理想的现象，并且基于图谱库的算法自动分割运行时间较长[4-8]。
近年随着全卷积神经网络（full convolutional neural network，FCN）的出现[9]，基于深度卷积神经网络（deep convolutional neural network，DCNN）进行靶区及危及器官自动分割的研究越来越多，且在靶区及危及器官方面均能够得到较为理想的检测和分割效果[10-18]。本研究使用三维（three-dimensional，3D）U-NET DCNN 结合 Dice Loss function 和 Generalized Dice Loss function 两种损失函数[19]构造新的损失函数训练 DCNN 模型，对头颈部肿瘤患者 19 种危及器官进行自动分割并验证分割精度，以期实现头颈部危及器官的快速精确分割。
1 资料与方法
1.1 数据获取
回顾查找 2014 年 6 月—2019 年 4 月我科同一主诊组收治鼻咽癌患者 496 例，每例患者图像均包含从颅顶到第八胸椎范围，扫描层厚为 3 mm，所有患者数据均进行脱敏处理。患者计算机断层扫描（computed tomography，CT）图像危及器官包含：左右眼球、左右视神经、左右晶体、左右内耳、左右颞颌关节、左右腮腺、左右颌下腺、脑干、脊髓、甲状腺、喉-食管-气管联合（L-E-T）以及口腔。其中 106 例患者存在器官缺失，主要缺失器官为左右颌下腺以及甲状腺。图像分辨率为 512 × 512。本研究按照留出法随机划分，训练集为 376 例，验证集 60 例，测试集 60 例。因本研究数据中有 106 例存在器官缺失，所以训练集比例较高，分配比例接近 8∶1∶1。
1.2 损失函数定义
如图 1 所示，使用 3D U-NET DCNN 网络结构进行神经网络模型训练，结合 Dice Loss 和 Generalized Dice Loss 两种损失函数[20]定义相应损失函数。其中训练损失函数为：
图1
3D U-NET 深度卷积神经网络结构
conv：进行一次卷积运算；BN：进行一次批标准化；Elu：使用该激活函数进行一次数据处理；transposed conv：进行一次上采样卷积运算；concat：将两层融合
Figure1. The structure of 3D U-NET deep convolutional neural networkconv: a convolution operation is performed; BN: a batch normalization process on the data is performed; Elu: a layer data process using the Elu function is performed; transposed conv: a transposed convolution operation is performed; concat: the two layers are merged
 |
式中 gnv 为对应危及器官的 mask 数值，pnv 为对应危及器官预测的 mask 数值，两者取值均为 0 和 1，wn 为对应危及器官的权重，on 为标识危及器官的缺失，患者图像中存在某个危及器官为 1，缺失则为 0，N = 19，V 为对应危及器官体素个数，wn 为对应危及器官的前景权重系数，
，wbn 为对应危及器官的背景权重系数，
，ε 则是为了避免分母为 0，本研究中 ε = 1 × 10−5。
对应验证集的损失函数计算方法为：
 '/> |
式中 
为对应危及器官的体素预测所得数值，本研究中由于训练模型最后一层使用 Sigmoid 函数，预测所得 pnv 取值区间为
，因此研究定义参数 α = 0.5，当 pnv > α，则 
，否则 
。
1.3 图像预处理
训练集及验证集在建立模型之前均进行相关图像预处理，包括：图像像素值归一到 0 到 1，大小归一到 384 voxles × 384 voxles × 384 voxles，并且对 X、Y 方向进行裁剪到 240 pixels × 208 pixels。
1.4 Mask 获取
Mask 通过读取 RTStructure 文件中危及器官勾画轮廓的位置坐标，而后生成对应于 CT 图像矩阵的三维矩阵，将 19 个危及器官对应的 Mask 矩阵同样进行裁剪处理得到 240 × 208 × 384 × 19 的四维矩阵为目标值。
1.5 深度卷积神经网络结构
神经网络模型在训练中使用卷积核大小为 3 × 3 × 3，步长为 1，使用最大池化方法（max pool），激活函数为 
，每次卷积后均进行批标准化（batch normalization，BN）；反向卷积使用卷积核大小为 2 × 2 × 2，步长为 2。最后一层使用 Sigmoid 函数，且数值大于 0.5 标注为对应危及器官。
1.6 评价方法
测试集评价指标为 Dice 相似性指数（Dice similarity coefficient，DSC）和 Jaccard 距离。其中 Dice 相似性指数表示为：
 |
Jaccard 距离表示为：
 |
其中 A 为原始勾画，B 为自动勾画。DSC 结果越接近 1 表明两种勾画重叠程度越高，若 DSC = 1 则表明两种勾画完全重叠；DJaccard 结果越接近 0 表明两种勾画重叠程度越高，若 DJaccard = 0 则表明两种勾画完全重叠。
1.7 横向比较
将本研究 19 种危及器官自动勾画所得结果与 Zhu 等[18]的研究结果进行了比较。Zhu 等[18]使用 Dice Loss function 和 focal loss function 结合的损失函数，在头颈部小器官自动勾画中获得较为理想的勾画结果，因此选取该研究结果与本研究结果进行比对具有一定参考意义。
1.8 硬件配置
本研究模型训练使用硬件为我院高性能科研服务器，内含 4 台计算服务器，每台计算服务器配置为两块 Intel Xeon Gold 6130 CPU 和 8 块 NVIDIA Tesla P100 GPU。
2 结果
使用训练完成的神经网络模型对 60 例测试集进行危及器官自动分割，并计算不同危及器官自动分割与人工勾画的 DSC 值及 Jaccard 距离，所得结果如表 1 所示。
表1
使用 3D U-NET 深度卷积神经网络对头颈部危及器官自 动勾画结果与手动勾画差异（
）
Table1.
Difference between manual segmentation and auto matic segmentation by using 3D U-NET DCNN in head and neck organs at risk（
）
将本研究所得结果与 Zhu 等[18]的研究结果进行比较。本研究中包含 19 种头颈部危及器官自动分割结果，Zhu 等[18]研究中自动分割危及器官种类为 7 种，所以选取两组研究中共有的危及器官自动分割结果进行比较，结果如图 2 所示。
图2
本研究结果与文献报道差异
Figure2.
Differences between the results of this study and literature report
本研究结果还表明，自动勾画结果与手动勾画器官的位置差异较小，如图 3 所示。
图3
自动勾画与手动勾画结果之间的差异
Figure3.
Differences between automatic and manual segmentation
3 讨论与结论
肿瘤患者危及器官勾画是放射治疗流程中的重要环节，通常由放疗医师手动完成。医师手动勾画危及器官的精度与勾画者的经验等因素相关，并且需要耗费大量人力。研究表明危及器官勾画的精确性可能会对疗效和危及器官的并发症发生率产生影响[21]。
随着计算机和图像处理技术的发展，出现了多种图像自动分割算法。目前临床中常用的危及器官自动勾画软件多采用基于灰度分布的区域分割或图谱库等自动勾画方法。Sims 等[5]使用基于图谱库的 ISOgrayTM第三方系统进行头颈部器官的自动勾画，并且与两种勾画标准进行比较，平均 DSC 值分别为 0.68 ± 0.25 和 0.82 ± 0.13；Young 等[6]研究使用图谱库的方法进行盆腔淋巴引流区的自动勾画，与三位医师手动勾画结果对比，平均 DSC 值为 0.80 ± 0.02；同样 Fritscher 等[7]的研究结果显示左右腮腺及脑干的 DSC 值分别为 0.84、0.81 和 0.86。上述研究发现这些算法在临床应用中仍然存在一些问题，例如基于灰度分布的区域分割方法对于 CT 影像中灰度值较为接近的区域分割效果较差，而基于图谱库模板的算法则对模板质量要求较高，实际应用中难以完全达到临床需求，通常还需进行大量人为修正[22-24]。
人工智能在放射治疗中的应用逐渐广泛，目前应用较多的领域是放射治疗自动计划和危及器官的自动分割[25-27]。基于神经网络的深度学习方法具备自动学习特征并可以进行多个层次特征识别，可以较好地应用于医学图像的自动分割。Roth 等[10,13]使用神经网络训练模型，对肝脏、脾脏和胰腺的自动分割精度 DSC 平均值能够达到 0.822。在腹部危及器官方面 Gibson 等[16]使用 Dense V-Net 网络结构自动分割的 DSC 值明显优于使用图谱库的结果。门阔等[17]利用 DDNN 对头颈部危及器官进行自动分割，9 种危及器官包括脑干、脊髓、左腮腺、右腮腺、左颞叶、右颞叶、甲状腺、喉、气管，所有危及器官自动分割的 DSC 数值均在 0.70 以上，平均值为 0.81。
U-NET 神经网络架构较为成熟，2D U-NET DCNN 最先用于医学细胞分割，并且能够得到较好的分割结果[28]。本研究使用 3D U-NET DCNN 对头颈部 19 种危及器官同时进行自动分割，取得了较为理想的结果。19 种危及器官 DSC 值在 0.86～0.95 之间，平均值达到 0.91，Jaccard 距离平均值为 0.15，其中左右晶体以及左右视神经等小器官自动分割的 DSC 值也在 0.85 以上。同时我们将本研究的自动分割结果与 Zhu 等[18]的研究结果进行了比较，结果显示本文提出的 3D U-NET DCNN 结合 Dice 损失函数修正的方法在头颈部危及器官自动分割中具有一定优势。
头颈部危及器官的自动勾画难点在于存在晶状体和视神经等小体积危及器官。由于 DCNN 结构中存在多次的卷积和池化过程，因此容易引起小体积危及器官信息的丢失。目前提高小体积危及器官的自动分割精度主要通过两种方法：一是增加训练样本数量；二是通过修改损失函数。Sudre 等[20]研究提出的 Generalized Dice Loss function 对于小体积危及器官模型训练具有一定优势；Ren 等[29]提出的通过建立个体化的危及器官训练模型也能够提高模型精度；此外，Zhu 等[18]使用 Dice Loss function 和 focal loss function 结合的损失函数，在头颈部小体积危及器官自动分割中获得较为理想的勾画结果。本研究基于 3D U-NET 网络结构，结合 Dice Loss function 和 Generalized Dice Loss function 两种损失函数构造新的损失函数，进行 DCNN 模型的训练，针对小体积危及器官在 DCNN 模型训练过程中增加其相关权重，取得了较为理想的自动分割结果。
本研究训练集和验证集中样本存在部分危及器官缺失情况，且训练所得的深度学习模型能够同时勾画 19 个危及器官，因此为了解决训练样本中危及器官缺失的情况，在损失函数中添加了 on 参数。此参数目的在于统计某个样本中真实存在的勾画数量
，若存在危及器官 n 则 on = 1，否则 on = 0。N = 19，若 19 个危及器官均实际存在，则
，以此解决训练样本中可能存在的危及器官缺失情况。
本研究模型训练使用硬件配置较高，因此训练速度较快，并且单例患者 CT 数据自动分割时间在 20 s 以内，较人工勾画效率有了极大提高。
综上所述，使用传统的 3D U-NET DCNN 结构，通过对训练损失函数的修改与优化，能够得到精度较高的 DCNN 模型用于头颈部危及器官的自动勾画。
利益冲突声明：本文全体作者均声明不存在利益冲突。
引言
目前人工智能在放射治疗危及器官（organ at risk，OAR）自动分割方面的应用发展较快，特别是基于深度学习方法在图像分割中的应用[1-3]。通常临床工作中危及器官勾画主要由医师手工完成，勾画质量和效率受人为因素影响较大。随着图像处理技术的快速发展，多种商业软件均推出自动勾画功能并投入临床使用，但大多基于灰度值分割、边缘检测、图谱库等方法进行自动分割。基于灰度值或边缘检测方法受到灰度值变化的影响，特别对于灰度梯度不明显的相邻器官其分割结果不够理想；基于图谱方法实现图像自动分割依赖于图谱库中的数据质量，同样存在危及器官和周围组织边界不明显时效果不够理想的现象，并且基于图谱库的算法自动分割运行时间较长[4-8]。
近年随着全卷积神经网络（full convolutional neural network，FCN）的出现[9]，基于深度卷积神经网络（deep convolutional neural network，DCNN）进行靶区及危及器官自动分割的研究越来越多，且在靶区及危及器官方面均能够得到较为理想的检测和分割效果[10-18]。本研究使用三维（three-dimensional，3D）U-NET DCNN 结合 Dice Loss function 和 Generalized Dice Loss function 两种损失函数[19]构造新的损失函数训练 DCNN 模型，对头颈部肿瘤患者 19 种危及器官进行自动分割并验证分割精度，以期实现头颈部危及器官的快速精确分割。
1 资料与方法
1.1 数据获取
回顾查找 2014 年 6 月—2019 年 4 月我科同一主诊组收治鼻咽癌患者 496 例，每例患者图像均包含从颅顶到第八胸椎范围，扫描层厚为 3 mm，所有患者数据均进行脱敏处理。患者计算机断层扫描（computed tomography，CT）图像危及器官包含：左右眼球、左右视神经、左右晶体、左右内耳、左右颞颌关节、左右腮腺、左右颌下腺、脑干、脊髓、甲状腺、喉-食管-气管联合（L-E-T）以及口腔。其中 106 例患者存在器官缺失，主要缺失器官为左右颌下腺以及甲状腺。图像分辨率为 512 × 512。本研究按照留出法随机划分，训练集为 376 例，验证集 60 例，测试集 60 例。因本研究数据中有 106 例存在器官缺失，所以训练集比例较高，分配比例接近 8∶1∶1。
1.2 损失函数定义
如图 1 所示，使用 3D U-NET DCNN 网络结构进行神经网络模型训练，结合 Dice Loss 和 Generalized Dice Loss 两种损失函数[20]定义相应损失函数。其中训练损失函数为：
图1
3D U-NET 深度卷积神经网络结构
conv：进行一次卷积运算；BN：进行一次批标准化；Elu：使用该激活函数进行一次数据处理；transposed conv：进行一次上采样卷积运算；concat：将两层融合
Figure1. The structure of 3D U-NET deep convolutional neural networkconv: a convolution operation is performed; BN: a batch normalization process on the data is performed; Elu: a layer data process using the Elu function is performed; transposed conv: a transposed convolution operation is performed; concat: the two layers are merged
|
式中 gnv 为对应危及器官的 mask 数值，pnv 为对应危及器官预测的 mask 数值，两者取值均为 0 和 1，wn 为对应危及器官的权重，on 为标识危及器官的缺失，患者图像中存在某个危及器官为 1，缺失则为 0，N = 19，V 为对应危及器官体素个数，wn 为对应危及器官的前景权重系数，，wbn 为对应危及器官的背景权重系数，，ε 则是为了避免分母为 0，本研究中 ε = 1 × 10−5。
对应验证集的损失函数计算方法为：
| '/> |
式中 为对应危及器官的体素预测所得数值，本研究中由于训练模型最后一层使用 Sigmoid 函数，预测所得 pnv 取值区间为，因此研究定义参数 α = 0.5，当 pnv > α，则 ，否则 。
1.3 图像预处理
训练集及验证集在建立模型之前均进行相关图像预处理，包括：图像像素值归一到 0 到 1，大小归一到 384 voxles × 384 voxles × 384 voxles，并且对 X、Y 方向进行裁剪到 240 pixels × 208 pixels。
1.4 Mask 获取
Mask 通过读取 RTStructure 文件中危及器官勾画轮廓的位置坐标，而后生成对应于 CT 图像矩阵的三维矩阵，将 19 个危及器官对应的 Mask 矩阵同样进行裁剪处理得到 240 × 208 × 384 × 19 的四维矩阵为目标值。
1.5 深度卷积神经网络结构
神经网络模型在训练中使用卷积核大小为 3 × 3 × 3，步长为 1，使用最大池化方法（max pool），激活函数为 ，每次卷积后均进行批标准化（batch normalization，BN）；反向卷积使用卷积核大小为 2 × 2 × 2，步长为 2。最后一层使用 Sigmoid 函数，且数值大于 0.5 标注为对应危及器官。
1.6 评价方法
测试集评价指标为 Dice 相似性指数（Dice similarity coefficient，DSC）和 Jaccard 距离。其中 Dice 相似性指数表示为：
|
Jaccard 距离表示为：
|
其中 A 为原始勾画，B 为自动勾画。DSC 结果越接近 1 表明两种勾画重叠程度越高，若 DSC = 1 则表明两种勾画完全重叠；DJaccard 结果越接近 0 表明两种勾画重叠程度越高，若 DJaccard = 0 则表明两种勾画完全重叠。
1.7 横向比较
将本研究 19 种危及器官自动勾画所得结果与 Zhu 等[18]的研究结果进行了比较。Zhu 等[18]使用 Dice Loss function 和 focal loss function 结合的损失函数，在头颈部小器官自动勾画中获得较为理想的勾画结果，因此选取该研究结果与本研究结果进行比对具有一定参考意义。
1.8 硬件配置
本研究模型训练使用硬件为我院高性能科研服务器，内含 4 台计算服务器，每台计算服务器配置为两块 Intel Xeon Gold 6130 CPU 和 8 块 NVIDIA Tesla P100 GPU。
2 结果
使用训练完成的神经网络模型对 60 例测试集进行危及器官自动分割，并计算不同危及器官自动分割与人工勾画的 DSC 值及 Jaccard 距离，所得结果如表 1 所示。
表1
使用 3D U-NET 深度卷积神经网络对头颈部危及器官自 动勾画结果与手动勾画差异（）
Table1.
Difference between manual segmentation and auto matic segmentation by using 3D U-NET DCNN in head and neck organs at risk（）
将本研究所得结果与 Zhu 等[18]的研究结果进行比较。本研究中包含 19 种头颈部危及器官自动分割结果，Zhu 等[18]研究中自动分割危及器官种类为 7 种，所以选取两组研究中共有的危及器官自动分割结果进行比较，结果如图 2 所示。
图2
本研究结果与文献报道差异
Figure2.
Differences between the results of this study and literature report
本研究结果还表明，自动勾画结果与手动勾画器官的位置差异较小，如图 3 所示。
图3
自动勾画与手动勾画结果之间的差异
Figure3.
Differences between automatic and manual segmentation
3 讨论与结论
肿瘤患者危及器官勾画是放射治疗流程中的重要环节，通常由放疗医师手动完成。医师手动勾画危及器官的精度与勾画者的经验等因素相关，并且需要耗费大量人力。研究表明危及器官勾画的精确性可能会对疗效和危及器官的并发症发生率产生影响[21]。
随着计算机和图像处理技术的发展，出现了多种图像自动分割算法。目前临床中常用的危及器官自动勾画软件多采用基于灰度分布的区域分割或图谱库等自动勾画方法。Sims 等[5]使用基于图谱库的 ISOgrayTM第三方系统进行头颈部器官的自动勾画，并且与两种勾画标准进行比较，平均 DSC 值分别为 0.68 ± 0.25 和 0.82 ± 0.13；Young 等[6]研究使用图谱库的方法进行盆腔淋巴引流区的自动勾画，与三位医师手动勾画结果对比，平均 DSC 值为 0.80 ± 0.02；同样 Fritscher 等[7]的研究结果显示左右腮腺及脑干的 DSC 值分别为 0.84、0.81 和 0.86。上述研究发现这些算法在临床应用中仍然存在一些问题，例如基于灰度分布的区域分割方法对于 CT 影像中灰度值较为接近的区域分割效果较差，而基于图谱库模板的算法则对模板质量要求较高，实际应用中难以完全达到临床需求，通常还需进行大量人为修正[22-24]。
人工智能在放射治疗中的应用逐渐广泛，目前应用较多的领域是放射治疗自动计划和危及器官的自动分割[25-27]。基于神经网络的深度学习方法具备自动学习特征并可以进行多个层次特征识别，可以较好地应用于医学图像的自动分割。Roth 等[10,13]使用神经网络训练模型，对肝脏、脾脏和胰腺的自动分割精度 DSC 平均值能够达到 0.822。在腹部危及器官方面 Gibson 等[16]使用 Dense V-Net 网络结构自动分割的 DSC 值明显优于使用图谱库的结果。门阔等[17]利用 DDNN 对头颈部危及器官进行自动分割，9 种危及器官包括脑干、脊髓、左腮腺、右腮腺、左颞叶、右颞叶、甲状腺、喉、气管，所有危及器官自动分割的 DSC 数值均在 0.70 以上，平均值为 0.81。
U-NET 神经网络架构较为成熟，2D U-NET DCNN 最先用于医学细胞分割，并且能够得到较好的分割结果[28]。本研究使用 3D U-NET DCNN 对头颈部 19 种危及器官同时进行自动分割，取得了较为理想的结果。19 种危及器官 DSC 值在 0.86～0.95 之间，平均值达到 0.91，Jaccard 距离平均值为 0.15，其中左右晶体以及左右视神经等小器官自动分割的 DSC 值也在 0.85 以上。同时我们将本研究的自动分割结果与 Zhu 等[18]的研究结果进行了比较，结果显示本文提出的 3D U-NET DCNN 结合 Dice 损失函数修正的方法在头颈部危及器官自动分割中具有一定优势。
头颈部危及器官的自动勾画难点在于存在晶状体和视神经等小体积危及器官。由于 DCNN 结构中存在多次的卷积和池化过程，因此容易引起小体积危及器官信息的丢失。目前提高小体积危及器官的自动分割精度主要通过两种方法：一是增加训练样本数量；二是通过修改损失函数。Sudre 等[20]研究提出的 Generalized Dice Loss function 对于小体积危及器官模型训练具有一定优势；Ren 等[29]提出的通过建立个体化的危及器官训练模型也能够提高模型精度；此外，Zhu 等[18]使用 Dice Loss function 和 focal loss function 结合的损失函数，在头颈部小体积危及器官自动分割中获得较为理想的勾画结果。本研究基于 3D U-NET 网络结构，结合 Dice Loss function 和 Generalized Dice Loss function 两种损失函数构造新的损失函数，进行 DCNN 模型的训练，针对小体积危及器官在 DCNN 模型训练过程中增加其相关权重，取得了较为理想的自动分割结果。
本研究训练集和验证集中样本存在部分危及器官缺失情况，且训练所得的深度学习模型能够同时勾画 19 个危及器官，因此为了解决训练样本中危及器官缺失的情况，在损失函数中添加了 on 参数。此参数目的在于统计某个样本中真实存在的勾画数量，若存在危及器官 n 则 on = 1，否则 on = 0。N = 19，若 19 个危及器官均实际存在，则，以此解决训练样本中可能存在的危及器官缺失情况。
本研究模型训练使用硬件配置较高，因此训练速度较快，并且单例患者 CT 数据自动分割时间在 20 s 以内，较人工勾画效率有了极大提高。
综上所述，使用传统的 3D U-NET DCNN 结构，通过对训练损失函数的修改与优化，能够得到精度较高的 DCNN 模型用于头颈部危及器官的自动勾画。
利益冲突声明：本文全体作者均声明不存在利益冲突。
