双邻域差值放大的高动态红外弱小目标检测方法(特邀) 下载: 549次
0 引 言
红外弱小目标检测是高速飞行器侦察预警中的一项关键技术,但目标通常距离预警系统较远,其在红外图像中的像素个数有限、特征不明显、细节模糊,且受红外焦平面阵列以及模数信号处理电路影响,导致目标易被背景杂波和噪声淹没[1],使得红外弱小目标难以被有效检测。此外,高速飞行器侦察预警系统获取的红外图像呈高动态变化,给红外弱小目标检测算法的实时性提出了新的挑战。
红外弱小目标检测算法可以分为单帧和连续帧检测算法[2]。其中,连续帧检测利用目标的形态、灰度和轨迹连续性等先验信息与时空域信息实现目标检测[3],而在高速飞行器预警系统所形成的红外图像中目标相对背景变化迅速,其轨迹连续性难以保障,导致连续帧算法应用困难。相比之下,单帧检测算法只需少量先验信息、计算复杂度低且易于硬件实现,使其在红外侦察预警中被广泛应用。
单帧检测算法主要包括基于背景滤波、稀疏低秩分解、深度学习以及局部对比度的算法。基于背景滤波的方法,如Top-hat[4]、Max-mean/Max-median[5]和形态学滤波[6]等,该类算法计算复杂度低实时性好,但在高亮噪声、强边缘等场景中性能普遍较差。为解决上述问题,稀疏低秩分解被引入到弱小目标检测任务中,如IPI、STIPT和NIRPS[7-9]等,该类算法对于均匀背景下目标检测效果较好,但对于存在薄云、水纹的场景会产生较为严重的虚警,同时其在图像重构阶段需多次迭代优化,难以满足实时性的需求。近年来,随着深度学习的不断兴起,Dai等[10]首次提出非对称上下文调制的小目标检测算法,其利用低层细节与顶层特征的注意力和上下文嵌入,获得了良好的检测效果;但其未充分考虑目标与背景像素的内在关联,难以解决复杂楼宇背景下的目标检测任务。为此,Wang等[11]提出了一种由粗到细的内部注意感知网络,其利用transformer提取目标与背景像素间的注意力感知特征,有效提高了复杂场景下目标检测精度。但现有红外数据集的规模和质量仍无法满足超高速飞行器的应用需求,因此基于深度学习的红外弱小目标检测算法泛化能力较差。
受人眼视觉系统(Human Visual System, HVS)启发,基于目标局部区域的变化特性的小目标检测方法被提出,如局部对比度测量(Local Contrast Measure, LCM)[12]和改进LCM(Improved LCM, ILCM)[13],其主要利用中心局域灰度与邻域像素的灰度比值构建目标显著图,由于未考虑邻域的方向信息,算法性能受强边缘的影响较大。为此,Han等[14]提出多尺度相关局部对比度测量(Multiscale Relative Local Contrast Measure, MRLCM),其利用目标中心与邻域的极值、比值和差值特性构建显著图,较好的抑制了背景且提升了抗高亮噪声干扰的能力,但计算复杂度过高。为降低LCM计算复杂度,Wei等[15]提出基于多尺度块的对比度测量(Multiscale Patch-based Contrast Measure, MPCM),其利用目标与对称单邻域的信息差异实现了亮暗目标的高速检测。但是,由于上述局部对比度算法采用先单邻域遍历图像再通过多尺度取极值的方式计算显著图,导致“扩展效应”严重,不易于区分相邻目标。针对上述问题,Wu等[16]提出双邻域梯度(Double-Neighborhood Gradient Method, DNGM)有效避免了单邻域算法的多尺度操作,抑制了“扩展效应”,有效提升了算法的实时性。Pan等[17]提出双层局部对比度的目标检测算法(Double-layer Local Contrast Measure, DLCM),其利用内邻域对角灰度差大幅度提升目标增强和背景抑制效果。但是,上述性能优越的基于双邻域的红外目标检测算法因未考虑实际应用场景中暗目标的固有特性,导致其难以应对暗目标的检测任务。
为了能够有效提升实际红外预警场景中高动态亮与暗目标的检测精度,文中提出一种基于双邻域差值放大(Double-neighborhood Difference Amplification Method, DDAM)的红外弱小目标检测算法,利用双邻域对称信息差异分离目标与背景,提升亮、暗弱小目标的局部对比度并抑制复杂背景和噪声。同时,为了更加全面客观评价红外目标检测算法的性能,提出了一种基于目标轨迹显著图(Target Trajectory Salience Map, TTSM)的序列图像目标检测评价方法。实验结果表明文中算法背景抑制能力强、实时性好、检测精度高。
1 红外弱小目标特性分析
在高速飞行器利用红外成像探测系统对远距离目标侦察预警的过程中,目标(如无人机)在起飞阶段,其自身红外辐射强度低于背景,其在真实红外图像中表现为暗目标,如图1(a)所示。当目标飞行一段时间后,因其自身红外辐射强度不断增大,逐渐高于周围背景,从而使得红外图像中呈现为亮目标,如图1(b)所示。
综上所述,目标与背景的灰度差异会随着目标飞行状态发生较大的变化。并且,在目标初始工作阶段,其在红外预警系统中通常表现为暗目标,为了实现较早预警,需要及时发现并检测出暗目标;然而,现有针对亮、暗弱小目标检测设计的算法采用单邻域结构,导致算法实时性差和背景抑制效果弱。
图 1. (a) 暗目标的红外图像以及目标的局部三维灰度图;(b) 亮目标的红外图像以及目标的局部三维灰度图
Fig. 1. (a) Infrared image of the dark target and the local 3D gray image of the target; (b) Infrared image of the bright target and the local 3D gray image of the target
2 基于双邻域差值放大的高动态小目标检测
2.1 双邻域差值放大计算
为解决现有单邻域亮、暗目标检测算法实时性差以及背景抑制不充分的问题,文中引入双邻域检测模型。首先,采用一个5×5的滑动窗口从上至下,从左至右逐像素计算待检测图像的DDAM值,在对边界计算时采用镜像补全的方法来拓展原始图像,滑动窗口结构模式及其内部多层区域划分如图2(a)、(b)所示。
图 2. (a) 滑动窗口的工作模式及其多层区域的划分;(b) 滑动窗口内的多个子窗;(c) 文中算法四个方向的插值相乘示意图
Fig. 2. (a) Working mode of sliding window and the division of multi-layer area; (b) A number of subwindows within a sliding window; (c) Schematic diagram of interpolation multiplication in four directions of the algorithm in this paper
整个滑动窗口由25个子窗组成,每个子窗大小为n×n个像素,其中心子窗记为
式中:
由图1中的目标三维灰度图可知,弱小目标的灰度变化在内、外邻域均服从中心对称分布,对于亮目标,其各方向的
式中:
对文中提出的DDAM的数学模型进行详细分析,假设目标比背景亮,从而有:
式中:
则有:
式中:
进一步,对于子窗大小n的选择如图3所示,由于DDAM采用的双邻域模型结构,对于不同尺度目标而言,其有效检测区域为图中白色部分。如图3(a)所示,使用内邻域子窗用于小尺寸目标检测;如图3(b)所示,使用内外双邻域子窗用于大尺寸目标检测;考虑到红外弱小目标检测任务尺度为2×2~9×9 pixel[18],因此该算法子窗大小设置为3×3。
图 3. (a) 小尺寸目标检测; (b) 大尺寸目标检测
Fig. 3. (a) Small size target detection; (b) Large size target detection
为验证DDAM的多尺度目标检测能力,图4所示了该算法分别对3×3、5×5、7×7、9×9 pixel的亮、暗目标的检测结果。结果表明,文中算法能够实现对多尺度亮、暗目标的有效检测。
图 4. DDAM对多尺度亮暗目标的检测结果
Fig. 4. Detection result of multi-scale bright and dark target by DDAM
2.2 高动态红外弱小目标自适应提取
在经过DDAM计算后得到的显著图中,弱小目标被有效增强,因此采用自适应阈值分割算法提取目标,得到最终的检测结果。分割阈值
式中:
3 实验测试和结果分析
3.1 实验设计
为对所提算法进行全面评估,利用12组复杂场景的红外图像序列对文中算法与8种典型的目标检测算法进行比较,即Top-hat、LCM、MPCM、RLCM、TTLCM[19]、ADMD[20]、DNGM和DLCM。其中Top-hat是典型的非线性滤波算法,LCM为早期HVS算法,MPCM、RLCM和TTLCM是近期提出的HVS算法,ADMD为融入梯度的HVS算法,DNGM和DLCM是近年来提出的与文中类型相同的双邻域算法。为了客观评价不同算法的性能,文中采用被广泛应用的平均信杂比率增益(Average Signalto Clutter Ratio Gain,
3.2 目标检测效果
为详细验证DDAM的检测效果,文中给出了典型的地海空3组真实场景下不同检测算法的结果,测试数据参数如表1所示。
表 1. 3组测试数据参数
Table 1. Three groups of test data parameters
|
图6给出了3种真实场景的8种对比算法和文中算法的实验结果。其中,序列1是以天空为背景,目标由暗变亮的红外图像序列,如图6(a)所示。当目标为暗点时,只有MPCM和文中算法能够有效检测出目标;但通过对比文中算法与MPCM的显著图可知,文中算法的背景抑制效果更佳。序列2是以海面为背景的亮目标图像序列,如图6(b)所示。Top-hat、LCM、RLCM、TTLCM和ADMD算法受海面波纹影响,其所得结果中仍然包含较多背景噪声,且目标区域存在明显的“扩展效应”;相比之下,文中算法结果中的目标灰度分布更加集中,“扩展效应”微弱。序列3是城市地面背景下的亮目标图像序列,如图6(c)所示。由于城市中的灯光与目标的空间分布相似,同时建筑、栏杆等背景存在强边缘区域,导致基于Top-hat、LCM、RLCM、TTLCM和ADMD算法获取的显著图均存在大量的背景噪声;相比之下,文中算法、DNGM和DLCM算法的背景抑制和目标增强效果明显,有利于降低虚警。
图 6. 9种算法对3组真实红外序列的检测结果
Fig. 6. Detection results of nine algorithms for three groups of real infrared sequences
3.3 算法评价指标性能分析
为定量评价该算法性能,表2详细给出了9种算法在上述3组真实图像序列上的
表 2. 9种算法在3组场景下的
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $ ![]()
![]()
、
$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $ ![]()
![]()
和实时性
Table 2. \begin{document}$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $\end{document} ![]()
![]()
,
\begin{document}$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $\end{document} ![]()
![]()
and real time performance of nine algorithms in three groups of scenarios
|
在上述
式中:
图8展示了9种算法在3组图像序列上的TTSM。其中,图(a1)、(b1)、(c1)是目标的实际运动轨迹。
图 8. 9种算法对3组真实红外序列的TTSM
Fig. 8. Nine algorithms for TTSM of three sets of real infrared sequences
由图8可发现,在3组红外图像序列中,文中算法的TTSM最清晰,在目标轨迹以外的图像区域中几乎不存在背景和干扰。其得益于文中算法在双邻域模型中引入了两次零值比较机制,这意味着在计算内、外邻域与中心区域差异的过程中,DDAM对背景进行了两次零值抑制,进而有效减少红外弱小目标检测虚警。为客观评估文中算法的小目标检测性能,9种算法对上述3组场景的ROC曲线如图9所示。文中将目标检测框中心与真值框中心的距离偏差小于两个像素作为目标正确检出标准。ROC曲线坐标TPR、FPR分别定义为:
图 9. 9种算法对3组不同场景的ROC曲线
Fig. 9. ROC curves of nine algorithms under three different scenes
ROC曲线反映了在不同分割阈值下算法的正确检测概率(True Positive Rate,TPR)与误检率(False Positive Rate,FPR)的对应关系,曲线与横坐标围成的面积越大,算法性能越好。
由图9(a)可以清楚看到,对于包含空中由暗转亮变化的目标图像序列,文中提出的DDAM与MPCM在相同误检率的情况下检测概率显著高于其他对比算法,且DDAM相比MPCM检测概率更高。从图9(b)~(c)中看出,对于只包含亮目标的图像序列,DDAM仍优于其他对比算法。同时,为进一步量化9种不同算法的目标检测性能,表3给出了不同算法在3组典型场景中的目标检测精度。其中Pd−4、Pd−3、Pd−2表示在误检率分别为10−4、10−3、10−2时目标正确检测概率的数值,该数值越大说明在当前误检率下,算法的精度越高。
表 3. 9种算法在3组典型场景中的检测精度
Table 3. Detection accuracy of nine algorithms in three groups of stypical cenarios
|
从表3中可以看出,文中算法的检测精度整体优于其他对比算法;例如,在包含由亮到暗的目标图像序列1中,文中算法在3种误检率下的正确检测概率均为最优。在只包含亮目标的图像序列2和3中,文中算法的平均检测精度高于MPCM约11%。
为进一步验证文中算法的普适性,采用9组复杂场景下的图像序列进行实验,其覆盖了强光、强背景边缘、低照度等条件下的亮目标、暗目标、单目标以及多目标场景。图10为文中算法的自适应分割阈值K设置为60时的检测结果,表4给出了12组场景下不同算法的平均性能。由表4可以看出,该算法在12个测试图像序列种的
图 10. 9组连续帧复杂场景下DDAM的检测结果
Fig. 10. Detection results of DDAM in nine consecutive frames of complex scenes
表 4. 12组场景下算法平均性能比较
Table 4. Average performance comparison of several target detection algorithms on twelve scences
|
4 结 论
面向红外预警系统中高动态弱小目标检测任务,文中在分析了亮、暗目标统一特性的基础上,提出了一种双邻域差值放大的高动态红外弱小目标检测方法,利用目标内、外双邻域对称差异实现多尺度目标检测,同时降低计算复杂度。此外,文中提出了一种基于目标轨迹显著图的红外序列图像目标检测客观评价方法,有效表征整体图像序列中目标与虚警的位置分布、目标增强和背景抑制效果。多组实验结果表明,与同类双邻域检测算法相比,该算法的
[2] Xia C Q, Li X R, Yin Y P, , et al. Multiple infrared small targets detection based on hierarchical maximal entropy random walk[J]. IEEE Geoscience and Remote Sensing Letters, 2020: arXiv:2010.00923v1.
[3] Li J H, Zhang P, Wang X W, , et al. Overview of infrared dim and small target detection algorithms[J]. Journal of Image and Graphics, 2020, 25(9): 1739-1753.
[4] Zeng M, Li J X, Zang P. The design of top-hat morphological filter and application to infrared target detection[J]. Infrared Physics & Technology, 2006, 48(1): 67-76.
[5] Deshpe S D, Er M H, Venkateswarlu R, et al. Maxmean maxmedian filters f detection of small targets[C]Signal Data Processing of Small Targets 1999. International Society f Optics Photonics, 1999, 3809: 7483.
[7] Gao C Q, Meng D Y, Yang Y, , et al. Infrared patch-image model for small target detection in a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009.
[8] Yang S, Yang J G, Miao Li, , et al. Infrared small target detection via spatial–temporal infrared patch-tensor model and weighted Schatten p-norm minimization[J]. Infrared Physics & Technology, 2019, 102: 103050.
[9] Liu Y, Peng Z M. Infrared small target detection based on resampling-guided image model[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.
[10] Dai Y M, Wu Y, Zhou F, et al. Asymmetric contextual modulation f infrared small target detection[C]Proceedings of the IEEECVF Winter Conference on Applications of Computer Vision, 2021: 950959.
[11] Wang K, Du S, Liu C, , et al. Interior attention-aware network for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13.
[12] Philip Chen C L, Li H, Wei Y T, , et al. A local contrast method for small infrared target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(1): 574-581.
[13] Han J H, Ma Y, Zhou B, , et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172.
[14] Han J H, Liang K, Zhou B, , et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616.
[15] Wei Y T, You X G, Hong Li. Multiscale patch-based contrast measure for small infrared target detection[J]. Pattern Recognition, 2016, 58: 216-226.
[16] Wu L, Ma Y, Fan F, , et al. A double-neighborhood gradient method for infrared small target detection[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(8): 1476-1480.
[19] Han J H, Moradi S, Faramarzi I, , et al. A local contrast method for infrared small-target detection utilizing a tri-layer window[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(10): 1822-1826.
[20] Moradi S, Moallem P, Sabahi M F. Fast and robust small infrared target detection using absolute directional mean difference algorithm[J]. Signal Processing, 2020, 177: 107727.
Article Outline
袁帅, 延翔, 张昱赓, 秦翰林. 双邻域差值放大的高动态红外弱小目标检测方法(特邀)[J]. 红外与激光工程, 2022, 51(4): 20220171. Shuai Yuan, Xiang Yan, Yugeng Zhang, Hanlin Qin. High-dynamic infrared small target detection based on double-neighborhood difference amplification method(Invited)[J]. Infrared and Laser Engineering, 2022, 51(4): 20220171.