针对视网膜眼底图像的特点,提出一种新的增强方法。首先进行形态学高帽变换以弱化背景、校正非均匀光照,然后运用有限对比度自适应直方图均衡化(CLAHE)拉伸对比度,增强灰度动态范围,最后使用二维匹配滤波增强图像中有重要临床诊断意义的细节并抑制噪声。在DIARETDB0数据库中进行实验,并利用一种新的无参考图像评价方法对多种增强效果进行客观比较。结果表明,该方法对正常和病变图像都能有效地弱化背景,增强对比度,对视网膜眼底图像的细节增强效果也同样显著,大大提高了图像质量。
引用本文： 陈萌梦, 熊兴良, 李广, 张婷婷. 眼底图像增强及评价. 生物医学工程学杂志, 2014, 31(5): 1144-1148. doi: 10.7507/1001-5515.20140216 复制
引言
眼底图像包含了视神经、黄斑和丰富的血管信息，为眼科疾病诊断、治疗效果判断以及高血压、糖尿病、心脏病等全身性疾病[1]的预测提供了重要依据。眼底荧光血管造影和眼底照相机的使用更是为人类直接观测视网膜状况提供了可能。但由于光照过暗或过亮、视角、眼睛运动、采集不规范等因素的影响，眼底照相机采集到的视网膜图像具有背景不均(中央亮、周围暗、对比度不强使得很多信息丢失)及血管对比度弱等特点，使得眼底标志性特征的提取，特别是血管轮廓的提取较为困难，严重地影响了医师诊断和治疗结果判断。因此，在提取血管等特征参数前，必须对眼底图像进行增强处理。
在过去的几十年中，针对视网膜眼底图像的特点，中外学者提出了多种增强算法：运用一系列不同方向和宽度的线性滤波器[2]自动对图像中的血管进行增强和检测；通过局部阈值迭代[3]去除非均匀背景的影响，不必预先得到照明系统的先验知识；通过最优化算法选取合适的二维滤波器[4]参数，实现视网膜图像的增强：通过多尺度几何分析的Contourlet变换[5]增强视网膜图像对比度；对图像首先进行方向场滤波，再使用Gabor滤波[6]沿血管方向进行增强；利用非均匀采样[7]来估计眼底图像的退化程度，再用单通道校正因子实现眼底图像的增强。
上述方法多从非均匀光照的校正、色彩归一化和对比度增强等单一方面入手，主要针对视网膜眼底图像中的血管部位进行增强。各种增强方法的结果都依据人眼进行主观判断，缺少客观有效的评价手段。对于增强的视网膜眼底图像质量的客观评价，不存在可用的标准图像，属于典型的无参考图像质量评价。因此，本文提出了一种新的视网膜图像增强方法，综合利用高帽(top-hat)变换、直方图均衡化和匹配滤波对图像进行多方位综合处理，并运用一种新的无参考质量评价方法对增强效果进行客观评价。
1 眼底图像增强
视网膜眼底图像可看做由前景图像和背景图像两部分构成。其中前景图像为感兴趣成分，主要为血管网络、视神经盘及有诊断意义的各种病灶特征。由于非理想成像条件限制，采集到的视网膜图像往往前景灰度较低，且分布不均。根据这些特征，本算法总体思路为：首先进行高帽变换以弱化背景、校正非均匀光照，然后运用有限对比度自适应直方图均衡化拉伸对比度，增强灰度动态范围，最后使用二维匹配滤波凸显图像中有重要临床诊断意义的细节并抑制噪声。
1.1 高帽变换
由于眼底照相机特有的环行照明设计，因此眼底图像通常具有背景强、光照不均匀等特点。为了弱化背景，初步校正非均匀光照。实验首先采用高帽变换对图像进行处理。高帽变换[8-9]是数学形态学变换中常用的一种方法，多用于非均匀光照中较亮(或较暗)区域的提取，增强阴影区域细节。可分为白帽变换和黑帽变换。其中，白帽变换是从原图像中减去原图像与一定结构元素开运算后的图像。设b 为结构元素，f(x,y)为输入图像：
| $th=f\left( x,y \right)-\left( f\left( x,y \right)\quad b \right)$ |
黑帽变换是从闭运算后的图像中减去原图像：
| $lc=\left( f\left( x,y \right)\cdot b \right)-f\left( x,y \right)$ |
白帽变换具有高通滤波的特性，变换后的图像体现原图像的灰度峰值信息，可有效地增强图像中暗区细节，弱化亮区细节。黑帽变换后的图像凸显原图像的灰度谷值信息。与白帽运算相反，黑帽变换可以有效地增强图像中的亮区细节，弱化暗区细节。白帽变换的图像加上原图像后减去黑帽变换的图像(式3)，得到最终形态学处理的图像：
| $re=th-lc+f\left( x,y \right)$ |
1.2 有限对比度自适应直方图均衡化
经高帽变换后的图像质量有一定的改善，但往往对比度不强。为了凸显前景图像对比度，扩大灰度值的动态范围，实验进一步采用有限对比度直方图均衡化进行增强。有限对比度自适应直方图均衡化[10-13](contrast limited adaptive histogram equalization，CLAHE)能克服标准直方图均衡化的局限性，基于自适应直方图均衡化(adaptive histogram equalization，AHE)从整幅图像的视觉效果方面改善图像的质量。
CLAHE算法将输入图像分为许多区域，在每个区域中进行直方图均衡化，使灰度值分布更加均匀化，然后在相邻的区域使用双线性插值消除人为设定的边界，同时限制均质区域的对比度以避免图像中可能存在的噪声影响。图像的直方图由区域内和区域外直方图两部分构成：
| $Hl\left( k \right)=aHw\left( k \right)+\left( 1-a \right)Hb\left( k \right)\left( 0\le a\le 1 \right),$ |
其中 Hw(k)是区域内的归一化直方图，Hb(k)则为区域间的归一化直方图。
特定像素值附近的对比度增强幅度由变换函数的斜率决定，且与邻域累积分布函数(cumulative distribution function，CDF)的斜率成正比。因此，该像素值对应的直方图的值受到限制。CLAHE在计算CDF前首先在限定值对直方图进行“剪切”以限制放大幅度，使CDF的斜率和变换函数受到限制。“剪切”限定值由归一化直方图和邻域的大小决定，普通值限制的放大结果约为直方图平均值的3到4倍，超出“剪切”限制的直方图平均分布在各个灰度级，重复进行直至所有的灰度级频数不超过限定值。
1.3 二维匹配滤波
经CLAHE算法处理后可显著增强视网膜眼底图像的对比度，有效拓展灰度值动态范围，但对细节的增强效果不佳。为了凸显感兴趣区域特别是具有诊断意义的病灶信息并抑制噪声，采用二维匹配滤波对图像进行进一步处理。
视网膜眼底血管一般曲率较小，可近似看作由一系列反向平行的线段组成。血管强度分布不存在理想的阶跃变化，而是一个渐变的过程，可以近似地由一个高斯方程来拟合。
| $f\left( x,y \right)=A\{1-k~exp(-{{d}^{2}}/2{{\sigma }^{2}})\}$ |
Chaudhuri等[14]利用线性滤波器来检测视网膜图像中的血管。当滤波器的方向和形状与血管强度分布相同时响应最大，垂直于血管方向时的响应最小。利用12个方向各异、规格相同的高斯内核对输入图像进行卷积，以增强不同方向的血管。噪声点对不同方向滤波器的响应基本不变，可进一步抑制噪声点。
2 图像质量评价
图像质量客观评价[15]的基本目标是设计能准确和自动感知图像质量的计算模型，最终目标是用计算机代替人类视觉系统(human visual system，HVS)去感知图像质量。通过计算模型获得的图像质量与人类主观观测的一致程度来判断客观方法的优劣。
无参考型(no-reference，NR)图像质量评价无原始图像的任何先验知识，直接对图像进行质量评价。本文克服了图像特征难以定义和提取、视觉特性难以建模和描述、人眼感知难以形式化表示等无参考型图像质量评价的难点，基于人类视觉特征提出一种新的NR图像质量评价方法[16]来描述和量化给定图像的质量。模型如下：
| $CAF=AIE\alpha *APCL\beta *NND\delta *AHF\eta *ABWF\sigma ,$ |
式中CAF(comprehensive image quality assessment function)称为综合图像质量评价函数。AIE(average information entropy)为图像的平均信息熵，APCL(average physical contrast level)为图像的平均物理对比度级，NND(normalized neighboring distance)为图像的平均亮度距127.5亮度级的距离,可表示为AL(average level)的函数：
| $NND=f\left( AL \right)=1-abs(AL-A{{L}_{opt}})/A{{L}_{opt}}$ |
式中ALopt为理想平均亮度，根据理想的均衡化直方图计算出ALopt=127.5。AHF(average hierarchical factor)为图像的平均层次因子，ABWF(average bandwidth factor)为图像的平均带宽因子。各加权指数α、β、δ、η、σ 由实验确定，本实验均取值为1。图像质量评价函数CAF值越大，对应图像的质量就越好。
该方法基于人类视觉，又优于人类视觉，对于人类视觉难以分辨的图像质量差异也能进行分辨；不需要原始图像的先验信息，可以评价图像好、坏两方面的信息，通用性强。
3 实验结果与分析
实验从DIARETDB0数据库中选取的正常和病变的眼底图像来验证本算法的有效性并进行客观评价。实验结果如图 1所示，可以发现，无论正常还是病变图像，经过该方法处理后的视网膜眼底图像的血管更加清晰，整体对比度增强，而且视神经盘、黄斑和病变区域信息被保留并且凸显，有利于医师的进一步观察和诊断。
图1
不同视网膜图像的增强效果
Figure1.
Enhancement results of different fundus images
图 2给出了不同增强方法的结果以进一步说明本算法的优越性。图中我们可以发现，高帽变换后的图像对比度较原始图像明显增强，但对小血管的增强不显著；采用最优化方法选取合适的参数并进行二维匹配滤波的方法[4]，虽然血管增强效果好但图像的整体对比度降低；Gabor滤波对背景和细节的对比度增强效果不佳且参数选取较为复杂；形态学处理过度强调对比度的增强，图像中的有用信息缺失；本文的方法同其他方法相比，不仅增强了血管网络，而且凸显了图像中的有用信息。
图2
不同方法的增强效果
(a)原始图像;(b)高帽变换;(c)匹配滤波;(d)Gabor滤波;(e)数学形态学;(f)本文方法
Figure2. Results of different enhancement methods(a) original image; (b) top-hat transform; (c) matched filters; (d) Gabor filters; (e) mathematical morphology; (f) our method
以上为人眼视觉的主观判断，为了对上述增强效果进行定量的描述，我们利用上文提出的图像质量评价方法对不同增强效果进行了客观评价。结果如表 1所示，经本文算法处理后的眼底图像的CAF值远大于其他增强方法。根据定义，该方法为上述的最佳增强方法。
表1
同一幅图采用不同增强方法的质量评价
Table1.
Quality assessment for one image in different enhancement methods
为了进一步说明本算法的普适性，实验随机选取数据库中的6幅图像，分别用上述六种方法进行处理，并进行质量评价。图 3为不同增强方法处理后客观质量评价的CAF值。可以看出，本文算法在不同图像中适用性良好，对原始输入图像质量的增强效果最显著，图像质量提高最明显。
图3
增强效果评价
Ⅰ~Ⅵ分别为DIARETDB0数据库中随机选取的第6、14、24、38、74和第98幅图像；A~F分别为原始图像、高帽变换、最优化匹配滤波、Gabor滤波、数学形态学和本文方法
Figure3. Assessment of enhancement methodsⅠ-Ⅵ: No. 6,14,24,38,74 and 98 images randomly selected form DIARETDB0 database; A-F: original image,top-hat transform,optimization matched filters,Gabor filter,mathematical morphology and the proposed method,respectively
4 结论
本文提出了一种新的综合利用形态学、直方图均衡化和二维匹配滤波的方法对视网膜眼底图像进行增强，并在DIARETDB0数据库上验证了该算法的有效性和通用性。该方法不仅适用于正常图像，对病变图像的增强也同样适用。同时，利用一种新的图像质量评价模型对多种增强效果进行客观评价。相比于其他方法，该方法更加注重视网膜眼底图像的重要细节，有效地改善了图像的质量，增强了对比度，有利于进一步的血管提取和病变特征检测。
引言
眼底图像包含了视神经、黄斑和丰富的血管信息，为眼科疾病诊断、治疗效果判断以及高血压、糖尿病、心脏病等全身性疾病[1]的预测提供了重要依据。眼底荧光血管造影和眼底照相机的使用更是为人类直接观测视网膜状况提供了可能。但由于光照过暗或过亮、视角、眼睛运动、采集不规范等因素的影响，眼底照相机采集到的视网膜图像具有背景不均(中央亮、周围暗、对比度不强使得很多信息丢失)及血管对比度弱等特点，使得眼底标志性特征的提取，特别是血管轮廓的提取较为困难，严重地影响了医师诊断和治疗结果判断。因此，在提取血管等特征参数前，必须对眼底图像进行增强处理。
在过去的几十年中，针对视网膜眼底图像的特点，中外学者提出了多种增强算法：运用一系列不同方向和宽度的线性滤波器[2]自动对图像中的血管进行增强和检测；通过局部阈值迭代[3]去除非均匀背景的影响，不必预先得到照明系统的先验知识；通过最优化算法选取合适的二维滤波器[4]参数，实现视网膜图像的增强：通过多尺度几何分析的Contourlet变换[5]增强视网膜图像对比度；对图像首先进行方向场滤波，再使用Gabor滤波[6]沿血管方向进行增强；利用非均匀采样[7]来估计眼底图像的退化程度，再用单通道校正因子实现眼底图像的增强。
上述方法多从非均匀光照的校正、色彩归一化和对比度增强等单一方面入手，主要针对视网膜眼底图像中的血管部位进行增强。各种增强方法的结果都依据人眼进行主观判断，缺少客观有效的评价手段。对于增强的视网膜眼底图像质量的客观评价，不存在可用的标准图像，属于典型的无参考图像质量评价。因此，本文提出了一种新的视网膜图像增强方法，综合利用高帽(top-hat)变换、直方图均衡化和匹配滤波对图像进行多方位综合处理，并运用一种新的无参考质量评价方法对增强效果进行客观评价。
1 眼底图像增强
视网膜眼底图像可看做由前景图像和背景图像两部分构成。其中前景图像为感兴趣成分，主要为血管网络、视神经盘及有诊断意义的各种病灶特征。由于非理想成像条件限制，采集到的视网膜图像往往前景灰度较低，且分布不均。根据这些特征，本算法总体思路为：首先进行高帽变换以弱化背景、校正非均匀光照，然后运用有限对比度自适应直方图均衡化拉伸对比度，增强灰度动态范围，最后使用二维匹配滤波凸显图像中有重要临床诊断意义的细节并抑制噪声。
1.1 高帽变换
由于眼底照相机特有的环行照明设计，因此眼底图像通常具有背景强、光照不均匀等特点。为了弱化背景，初步校正非均匀光照。实验首先采用高帽变换对图像进行处理。高帽变换[8-9]是数学形态学变换中常用的一种方法，多用于非均匀光照中较亮(或较暗)区域的提取，增强阴影区域细节。可分为白帽变换和黑帽变换。其中，白帽变换是从原图像中减去原图像与一定结构元素开运算后的图像。设b 为结构元素，f(x,y)为输入图像：
| $th=f\left( x,y \right)-\left( f\left( x,y \right)\quad b \right)$ |
黑帽变换是从闭运算后的图像中减去原图像：
| $lc=\left( f\left( x,y \right)\cdot b \right)-f\left( x,y \right)$ |
白帽变换具有高通滤波的特性，变换后的图像体现原图像的灰度峰值信息，可有效地增强图像中暗区细节，弱化亮区细节。黑帽变换后的图像凸显原图像的灰度谷值信息。与白帽运算相反，黑帽变换可以有效地增强图像中的亮区细节，弱化暗区细节。白帽变换的图像加上原图像后减去黑帽变换的图像(式3)，得到最终形态学处理的图像：
| $re=th-lc+f\left( x,y \right)$ |
1.2 有限对比度自适应直方图均衡化
经高帽变换后的图像质量有一定的改善，但往往对比度不强。为了凸显前景图像对比度，扩大灰度值的动态范围，实验进一步采用有限对比度直方图均衡化进行增强。有限对比度自适应直方图均衡化[10-13](contrast limited adaptive histogram equalization，CLAHE)能克服标准直方图均衡化的局限性，基于自适应直方图均衡化(adaptive histogram equalization，AHE)从整幅图像的视觉效果方面改善图像的质量。
CLAHE算法将输入图像分为许多区域，在每个区域中进行直方图均衡化，使灰度值分布更加均匀化，然后在相邻的区域使用双线性插值消除人为设定的边界，同时限制均质区域的对比度以避免图像中可能存在的噪声影响。图像的直方图由区域内和区域外直方图两部分构成：
| $Hl\left( k \right)=aHw\left( k \right)+\left( 1-a \right)Hb\left( k \right)\left( 0\le a\le 1 \right),$ |
其中 Hw(k)是区域内的归一化直方图，Hb(k)则为区域间的归一化直方图。
特定像素值附近的对比度增强幅度由变换函数的斜率决定，且与邻域累积分布函数(cumulative distribution function，CDF)的斜率成正比。因此，该像素值对应的直方图的值受到限制。CLAHE在计算CDF前首先在限定值对直方图进行“剪切”以限制放大幅度，使CDF的斜率和变换函数受到限制。“剪切”限定值由归一化直方图和邻域的大小决定，普通值限制的放大结果约为直方图平均值的3到4倍，超出“剪切”限制的直方图平均分布在各个灰度级，重复进行直至所有的灰度级频数不超过限定值。
1.3 二维匹配滤波
经CLAHE算法处理后可显著增强视网膜眼底图像的对比度，有效拓展灰度值动态范围，但对细节的增强效果不佳。为了凸显感兴趣区域特别是具有诊断意义的病灶信息并抑制噪声，采用二维匹配滤波对图像进行进一步处理。
视网膜眼底血管一般曲率较小，可近似看作由一系列反向平行的线段组成。血管强度分布不存在理想的阶跃变化，而是一个渐变的过程，可以近似地由一个高斯方程来拟合。
| $f\left( x,y \right)=A\{1-k~exp(-{{d}^{2}}/2{{\sigma }^{2}})\}$ |
Chaudhuri等[14]利用线性滤波器来检测视网膜图像中的血管。当滤波器的方向和形状与血管强度分布相同时响应最大，垂直于血管方向时的响应最小。利用12个方向各异、规格相同的高斯内核对输入图像进行卷积，以增强不同方向的血管。噪声点对不同方向滤波器的响应基本不变，可进一步抑制噪声点。
2 图像质量评价
图像质量客观评价[15]的基本目标是设计能准确和自动感知图像质量的计算模型，最终目标是用计算机代替人类视觉系统(human visual system，HVS)去感知图像质量。通过计算模型获得的图像质量与人类主观观测的一致程度来判断客观方法的优劣。
无参考型(no-reference，NR)图像质量评价无原始图像的任何先验知识，直接对图像进行质量评价。本文克服了图像特征难以定义和提取、视觉特性难以建模和描述、人眼感知难以形式化表示等无参考型图像质量评价的难点，基于人类视觉特征提出一种新的NR图像质量评价方法[16]来描述和量化给定图像的质量。模型如下：
| $CAF=AIE\alpha *APCL\beta *NND\delta *AHF\eta *ABWF\sigma ,$ |
式中CAF(comprehensive image quality assessment function)称为综合图像质量评价函数。AIE(average information entropy)为图像的平均信息熵，APCL(average physical contrast level)为图像的平均物理对比度级，NND(normalized neighboring distance)为图像的平均亮度距127.5亮度级的距离,可表示为AL(average level)的函数：
| $NND=f\left( AL \right)=1-abs(AL-A{{L}_{opt}})/A{{L}_{opt}}$ |
式中ALopt为理想平均亮度，根据理想的均衡化直方图计算出ALopt=127.5。AHF(average hierarchical factor)为图像的平均层次因子，ABWF(average bandwidth factor)为图像的平均带宽因子。各加权指数α、β、δ、η、σ 由实验确定，本实验均取值为1。图像质量评价函数CAF值越大，对应图像的质量就越好。
该方法基于人类视觉，又优于人类视觉，对于人类视觉难以分辨的图像质量差异也能进行分辨；不需要原始图像的先验信息，可以评价图像好、坏两方面的信息，通用性强。
3 实验结果与分析
实验从DIARETDB0数据库中选取的正常和病变的眼底图像来验证本算法的有效性并进行客观评价。实验结果如图 1所示，可以发现，无论正常还是病变图像，经过该方法处理后的视网膜眼底图像的血管更加清晰，整体对比度增强，而且视神经盘、黄斑和病变区域信息被保留并且凸显，有利于医师的进一步观察和诊断。
图1
不同视网膜图像的增强效果
Figure1.
Enhancement results of different fundus images
图 2给出了不同增强方法的结果以进一步说明本算法的优越性。图中我们可以发现，高帽变换后的图像对比度较原始图像明显增强，但对小血管的增强不显著；采用最优化方法选取合适的参数并进行二维匹配滤波的方法[4]，虽然血管增强效果好但图像的整体对比度降低；Gabor滤波对背景和细节的对比度增强效果不佳且参数选取较为复杂；形态学处理过度强调对比度的增强，图像中的有用信息缺失；本文的方法同其他方法相比，不仅增强了血管网络，而且凸显了图像中的有用信息。
图2
不同方法的增强效果
(a)原始图像;(b)高帽变换;(c)匹配滤波;(d)Gabor滤波;(e)数学形态学;(f)本文方法
Figure2. Results of different enhancement methods(a) original image; (b) top-hat transform; (c) matched filters; (d) Gabor filters; (e) mathematical morphology; (f) our method
以上为人眼视觉的主观判断，为了对上述增强效果进行定量的描述，我们利用上文提出的图像质量评价方法对不同增强效果进行了客观评价。结果如表 1所示，经本文算法处理后的眼底图像的CAF值远大于其他增强方法。根据定义，该方法为上述的最佳增强方法。
表1
同一幅图采用不同增强方法的质量评价
Table1.
Quality assessment for one image in different enhancement methods
为了进一步说明本算法的普适性，实验随机选取数据库中的6幅图像，分别用上述六种方法进行处理，并进行质量评价。图 3为不同增强方法处理后客观质量评价的CAF值。可以看出，本文算法在不同图像中适用性良好，对原始输入图像质量的增强效果最显著，图像质量提高最明显。
图3
增强效果评价
Ⅰ~Ⅵ分别为DIARETDB0数据库中随机选取的第6、14、24、38、74和第98幅图像；A~F分别为原始图像、高帽变换、最优化匹配滤波、Gabor滤波、数学形态学和本文方法
Figure3. Assessment of enhancement methodsⅠ-Ⅵ: No. 6,14,24,38,74 and 98 images randomly selected form DIARETDB0 database; A-F: original image,top-hat transform,optimization matched filters,Gabor filter,mathematical morphology and the proposed method,respectively
4 结论
本文提出了一种新的综合利用形态学、直方图均衡化和二维匹配滤波的方法对视网膜眼底图像进行增强，并在DIARETDB0数据库上验证了该算法的有效性和通用性。该方法不仅适用于正常图像，对病变图像的增强也同样适用。同时，利用一种新的图像质量评价模型对多种增强效果进行客观评价。相比于其他方法，该方法更加注重视网膜眼底图像的重要细节，有效地改善了图像的质量，增强了对比度，有利于进一步的血管提取和病变特征检测。
