红外与激光工程, 2022, 51 (4): 20220171, 网络出版: 2022-05-18  

双邻域差值放大的高动态红外弱小目标检测方法(特邀) 下载: 549次

High-dynamic infrared small target detection based on double-neighborhood difference amplification method(Invited)
作者单位
西安电子科技大学 光电工程学院,陕西 西安 710071
摘要
针对现有红外弱小目标检测方法背景抑制不充分、计算复杂度高,导致红外侦察预警系统虚警率高、响应速度慢的问题,提出一种基于双邻域差值放大的高动态红外弱小目标检测方法。首先,分析真实红外图像中目标与邻域的均值特性;然后,计算出目标区域与内外双层邻域的差异,从而提升亮、暗弱小目标的局部对比度并抑制复杂背景和噪声;最后,利用自适应阈值分割算法获取目标的位置。针对信杂比增益和背景抑制因子难以客观评价红外图像序列的目标增强和背景抑制性能的问题,提出一种目标轨迹显著图评价方法,有效评价红外图像序列目标检测性能。实验结果表明:与同类检测方法相比,该方法的信杂比增益与背景抑制因子分别提高了12%与10%,运行时间约缩短了34 ms,是一种有效可行的高动态红外弱小目标检测方法。
Abstract
Aiming at the problems of insufficient background suppression and high computational complexity of existing infrared small target detection methods, which lead to high false alarm rate and slow response speed of infrared reconnaissance and early warning system, a high-dynamic infrared small targets detection method based on double-neighborhood difference amplification was proposed. Firstly, the mean value characteristics of target and neighborhood in real infrared images was analyzed. Then, the difference between the target area and the inner and outer bilayer neighborhood was calculated, so as to improve the local contrast of bright and weak small targets and suppress complex background and noise. Finally, an adaptive threshold segmentation algorithm was used to obtain the target location. Aiming at the problem that signal-to-clutter ratio gain and background suppression factor were difficult to objectively evaluate the performance of target enhancement and background suppression of infrared image sequences, a target trajectory saliency graph evaluation method was proposed to evaluate the target detection performance of infrared image sequences effectively. Experimental results showed that compared with similar detection methods, the signal-to-clutter ratio gain and background suppression factor of this method were increased by 12% and 10%, respectively, and the running time was shortened by about 34 ms. Therefore, this method is an effective and feasible method for high dynamic infrared small targets detection.

0 引 言

红外弱小目标检测是高速飞行器侦察预警中的一项关键技术,但目标通常距离预警系统较远,其在红外图像中的像素个数有限、特征不明显、细节模糊,且受红外焦平面阵列以及模数信号处理电路影响,导致目标易被背景杂波和噪声淹没[1],使得红外弱小目标难以被有效检测。此外,高速飞行器侦察预警系统获取的红外图像呈高动态变化,给红外弱小目标检测算法的实时性提出了新的挑战。

红外弱小目标检测算法可以分为单帧和连续帧检测算法[2]。其中,连续帧检测利用目标的形态、灰度和轨迹连续性等先验信息与时空域信息实现目标检测[3],而在高速飞行器预警系统所形成的红外图像中目标相对背景变化迅速,其轨迹连续性难以保障,导致连续帧算法应用困难。相比之下,单帧检测算法只需少量先验信息、计算复杂度低且易于硬件实现,使其在红外侦察预警中被广泛应用。

单帧检测算法主要包括基于背景滤波、稀疏低秩分解、深度学习以及局部对比度的算法。基于背景滤波的方法,如Top-hat[4]、Max-mean/Max-median[5]和形态学滤波[6]等,该类算法计算复杂度低实时性好,但在高亮噪声、强边缘等场景中性能普遍较差。为解决上述问题,稀疏低秩分解被引入到弱小目标检测任务中,如IPI、STIPT和NIRPS[7-9]等,该类算法对于均匀背景下目标检测效果较好,但对于存在薄云、水纹的场景会产生较为严重的虚警,同时其在图像重构阶段需多次迭代优化,难以满足实时性的需求。近年来,随着深度学习的不断兴起,Dai等[10]首次提出非对称上下文调制的小目标检测算法,其利用低层细节与顶层特征的注意力和上下文嵌入,获得了良好的检测效果;但其未充分考虑目标与背景像素的内在关联,难以解决复杂楼宇背景下的目标检测任务。为此,Wang等[11]提出了一种由粗到细的内部注意感知网络,其利用transformer提取目标与背景像素间的注意力感知特征,有效提高了复杂场景下目标检测精度。但现有红外数据集的规模和质量仍无法满足超高速飞行器的应用需求,因此基于深度学习的红外弱小目标检测算法泛化能力较差。

受人眼视觉系统(Human Visual System, HVS)启发,基于目标局部区域的变化特性的小目标检测方法被提出,如局部对比度测量(Local Contrast Measure, LCM)[12]和改进LCM(Improved LCM, ILCM)[13],其主要利用中心局域灰度与邻域像素的灰度比值构建目标显著图,由于未考虑邻域的方向信息,算法性能受强边缘的影响较大。为此,Han等[14]提出多尺度相关局部对比度测量(Multiscale Relative Local Contrast Measure, MRLCM),其利用目标中心与邻域的极值、比值和差值特性构建显著图,较好的抑制了背景且提升了抗高亮噪声干扰的能力,但计算复杂度过高。为降低LCM计算复杂度,Wei等[15]提出基于多尺度块的对比度测量(Multiscale Patch-based Contrast Measure, MPCM),其利用目标与对称单邻域的信息差异实现了亮暗目标的高速检测。但是,由于上述局部对比度算法采用先单邻域遍历图像再通过多尺度取极值的方式计算显著图,导致“扩展效应”严重,不易于区分相邻目标。针对上述问题,Wu等[16]提出双邻域梯度(Double-Neighborhood Gradient Method, DNGM)有效避免了单邻域算法的多尺度操作,抑制了“扩展效应”,有效提升了算法的实时性。Pan等[17]提出双层局部对比度的目标检测算法(Double-layer Local Contrast Measure, DLCM),其利用内邻域对角灰度差大幅度提升目标增强和背景抑制效果。但是,上述性能优越的基于双邻域的红外目标检测算法因未考虑实际应用场景中暗目标的固有特性,导致其难以应对暗目标的检测任务。

为了能够有效提升实际红外预警场景中高动态亮与暗目标的检测精度,文中提出一种基于双邻域差值放大(Double-neighborhood Difference Amplification Method, DDAM)的红外弱小目标检测算法,利用双邻域对称信息差异分离目标与背景,提升亮、暗弱小目标的局部对比度并抑制复杂背景和噪声。同时,为了更加全面客观评价红外目标检测算法的性能,提出了一种基于目标轨迹显著图(Target Trajectory Salience Map, TTSM)的序列图像目标检测评价方法。实验结果表明文中算法背景抑制能力强、实时性好、检测精度高。

1 红外弱小目标特性分析

在高速飞行器利用红外成像探测系统对远距离目标侦察预警的过程中,目标(如无人机)在起飞阶段,其自身红外辐射强度低于背景,其在真实红外图像中表现为暗目标,如图1(a)所示。当目标飞行一段时间后,因其自身红外辐射强度不断增大,逐渐高于周围背景,从而使得红外图像中呈现为亮目标,如图1(b)所示。

综上所述,目标与背景的灰度差异会随着目标飞行状态发生较大的变化。并且,在目标初始工作阶段,其在红外预警系统中通常表现为暗目标,为了实现较早预警,需要及时发现并检测出暗目标;然而,现有针对亮、暗弱小目标检测设计的算法采用单邻域结构,导致算法实时性差和背景抑制效果弱。

图 1. (a) 暗目标的红外图像以及目标的局部三维灰度图;(b) 亮目标的红外图像以及目标的局部三维灰度图

Fig. 1. (a) Infrared image of the dark target and the local 3D gray image of the target; (b) Infrared image of the bright target and the local 3D gray image of the target

下载图片 查看所有图片

2 基于双邻域差值放大的高动态小目标检测

2.1 双邻域差值放大计算

为解决现有单邻域亮、暗目标检测算法实时性差以及背景抑制不充分的问题,文中引入双邻域检测模型。首先,采用一个5×5的滑动窗口从上至下,从左至右逐像素计算待检测图像的DDAM值,在对边界计算时采用镜像补全的方法来拓展原始图像,滑动窗口结构模式及其内部多层区域划分如图2(a)、(b)所示。

图 2. (a) 滑动窗口的工作模式及其多层区域的划分;(b) 滑动窗口内的多个子窗;(c) 文中算法四个方向的插值相乘示意图

Fig. 2. (a) Working mode of sliding window and the division of multi-layer area; (b) A number of subwindows within a sliding window; (c) Schematic diagram of interpolation multiplication in four directions of the algorithm in this paper

下载图片 查看所有图片

整个滑动窗口由25个子窗组成,每个子窗大小为n×n个像素,其中心子窗记为 $ {T}_{0} $,代表目标区域;位于 $ {T}_{0} $周围的内层邻域由8个子窗构成,记为 $ {IB}_{i} $(i=1,2,···,8),外邻域由16个子窗组成,记为 $ {OB}_{j} $(j=1,2,···,16)。然后,引入内层邻域差值 $ d\left({T}_{0},{IB}_{i}\right) $和外城邻域差值 $ d\left({T}_{0},{OB}_{j}\right) $表示为:

$ d\left({T}_{0},{IB}_{i}\right)={m}_{{T}_{0}}-{m}_{{IB}_{i}} $ (1)

$ d\left({T}_{0},{OB}_{j}\right)={m}_{{T}_{0}}-{m}_{{OB}_{j}} $ (2)

式中: $ {m}_{{T}_{0}} $代表 $ {T}_{0} $子窗的灰度均值; $ {m}_{{IB}_{i}} $$ {m}_{{OB}_{j}} $分别代表内邻域子窗 $ {IB}_{i} $和外邻域子窗 $ {OB}_{j} $的灰度均值,因此 $ d\left({T}_{0},{IB}_{i}\right) $$ d\left({T}_{0},{OB}_{j}\right) $可以用来表示为中心邻域 $ {T}_{0} $与外层邻域间的灰度差异,采用区域均值计算灰度差异的方式可有效减少随机高亮噪声对真实目标的干扰。

图1中的目标三维灰度图可知,弱小目标的灰度变化在内、外邻域均服从中心对称分布,对于亮目标,其各方向的 $ d\left({T}_{0},{IB}_{i}\right) $$ d\left({T}_{0},{OB}_{j}\right) $大于零;对于暗目标,其各方向的 $ d\left({T}_{0},{IB}_{i}\right) $$ d\left({T}_{0},{IB}_{i}\right) $小于零,为凸显上述两类目标共性,采用对称邻域相乘的方式定义 $ {ID}_{i} $$ {OD}_{j} $为:

$ {ID}_{i}=\left\{\begin{array}{c}d\left({T}_{0},{IB}_{i}\right)\times d\left({T}_{0},{IB}_{i+4}\right)\\ 0\end{array}\right.\begin{array}{c}{\rm{if}}d\left({T}_{0},{IB}_{i}\right)\times d\left({T}_{0},{IB}_{i+4}\right)\geqslant 0\\ {\rm{else}}\end{array} $ (3)

$ {OD}_{j}=\left\{\begin{array}{c}d\left({T}_{0},{OB}_{j}\right)\times d\left({T}_{0},{OB}_{j+8}\right)\\ 0\end{array}\right.\begin{array}{c}{\rm{if}}d\left({T}_{0},{OB}_{j}\right)\times d\left({T}_{0},{OB}_{j+8}\right)\geqslant 0\\ {\rm{else}}\end{array} $ (4)

式中: $ {ID}_{i} $代表目标与背景在内邻域的第 $ i $个方向上的差异( $ i $=1, 2, 3, 4); $ {OD}_{j} $代表目标与背景在外邻域的第 $ j $个方向的差异( $ j $=1, 3, 5, 7)。结合图2(c),当内、外两个邻域对称方向的差异同号时,中心区域就会得到增强;同时,局部区域显著性计算目的在于凸显目标中心区域与周围全部邻域间的差异,因此采用目标与内、外邻域的最小差异 $ {\mathrm{m}\mathrm{i}\mathrm{n}ID}_{i} $$ {\mathrm{m}\mathrm{i}\mathrm{n}OD}_{j} $作为有效的差异度量方法,结合内外邻域差异,DDAM表示为:

$ DDAM = {\mathrm{m}\mathrm{i}\mathrm{n}ID}_{i}\times {\mathrm{m}\mathrm{i}\mathrm{n}OD}_{j} $ (5)

对文中提出的DDAM的数学模型进行详细分析,假设目标比背景亮,从而有:

$ \begin{split} \\ DDAM=&{\mathrm{m}\mathrm{i}\mathrm{n}ID}_{i}\times {\mathrm{min}\mathit{OD}}_{j}=\underset {i=\mathrm{1,2},\mathrm{3,4}} {\mathrm{min}}\\ &\left[d\left({T}_{0},{IB}_{i}\right)\times d \left({T}_{0},{IB}_{i+4}\right)\right]\times \underset{j=\mathrm{1,3},\mathrm{5,7}}{\mathrm{min}}\left[d\left({T}_{0},{OB}_{j}\right)\times \right.\\ &\left. d \left({T}_{0},{OB}_{j+8}\right)\right]\geqslant d{\left({T}_{0},{\tilde{IB}}_{i}\right)}^{2}\times d{\left({T}_{0},{\tilde{OB}}_{j}\right)}^{2}=\\ &{\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)}^{2}\times {({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}})}^{2} \end{split} $ (6)

式中: $ {m}_{{\tilde{IB}}_{i}} $为最大均值的内邻域; $ {m}_{{\tilde{OB}}_{j}} $为最大均值的外邻域。为了简化公式(6),令:

$ f\left({T}_{0}\right)={\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)}^{2}\times {\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)}^{2} $ (7)

则有:

$ \begin{split} {f}{'}\left({T}_{0}\right)=&2{\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)}^{2}+2{\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)}\\ &{\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)}^{2}=2\left({m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}\right)\left({m}_{{T}_{0}}-{m}_{{\tilde{OB}}_{j}}\right)\\ &\left(2{m}_{{T}_{0}}-{m}_{{\tilde{IB}}_{i}}-{m}_{{\tilde{OB}}_{j}}\right) \end{split} $ (8)

式中: $ {f}{'}\left(T\right) $表示该算法对“扩展效应”的抑制能力,该值越大算法的抑制能力越强。通常红外图像中的弱小目标具有局部显著的灰度信息,即公式(7)中 $ {m}_{{T}_{0}} $值明显高于 $ {m}_{{\tilde{IB}}_{i}} $$ {m}_{{\tilde{OB}}_{j}} $。但是,真实的红外图像中通常存在高亮背景、随机高亮噪声和强背景边缘干扰[12]。对于高亮背景和随机高亮噪声区域, $ {m}_{{T}_{0}} $$ {m}_{{\tilde{IB}}_{i}} $$ {m}_{{\tilde{OB}}_{j}} $差几乎无差异, $ f\left(T\right) $$ {f}{{'}}\left(T\right) $极小,DDAM计算结果接近于零,因此高亮背景和随机高亮噪声被有效抑制;对于强背景边缘干扰,因其不具备局部区域差异的旋转对称性,利用公式(3)与(4)能够计算出沿强边缘法线方向的 $ {ID}_{i} $$ {OD}_{j} $为零,即强背景边缘被有效抑制;当目标受周围高亮背景与随机高亮噪声干扰时,即使 $ {m}_{{\tilde{IB}}_{i}} $$ {m}_{{\tilde{OB}}_{j}} $与目标 $ {m}_{{T}_{0}} $差异缩小,将其代入公式(7)后, $ f\left(T\right) $$ {f}{{'}}\left(T\right) $值仍明显高于背景区域,其意味着文中算法在强干扰条件能将目标有效检出。

进一步,对于子窗大小n的选择如图3所示,由于DDAM采用的双邻域模型结构,对于不同尺度目标而言,其有效检测区域为图中白色部分。如图3(a)所示,使用内邻域子窗用于小尺寸目标检测;如图3(b)所示,使用内外双邻域子窗用于大尺寸目标检测;考虑到红外弱小目标检测任务尺度为2×2~9×9 pixel[18],因此该算法子窗大小设置为3×3。

图 3. (a) 小尺寸目标检测; (b) 大尺寸目标检测

Fig. 3. (a) Small size target detection; (b) Large size target detection

下载图片 查看所有图片

为验证DDAM的多尺度目标检测能力,图4所示了该算法分别对3×3、5×5、7×7、9×9 pixel的亮、暗目标的检测结果。结果表明,文中算法能够实现对多尺度亮、暗目标的有效检测。

图 4. DDAM对多尺度亮暗目标的检测结果

Fig. 4. Detection result of multi-scale bright and dark target by DDAM

下载图片 查看所有图片

2.2 高动态红外弱小目标自适应提取

在经过DDAM计算后得到的显著图中,弱小目标被有效增强,因此采用自适应阈值分割算法提取目标,得到最终的检测结果。分割阈值 $ \tau $表达式为:

$ \tau =\mu +K\sigma $ (9)

式中: $ \;\mu $为显著图的均值; $ \sigma $为显著图的标准差;K为自适应分割系数,一般取30~60。图5为弱小目标检测的总体流程。

图 5. 弱小目标检测流程图

Fig. 5. Flow chart of small object detection

下载图片 查看所有图片

3 实验测试和结果分析

3.1 实验设计

为对所提算法进行全面评估,利用12组复杂场景的红外图像序列对文中算法与8种典型的目标检测算法进行比较,即Top-hat、LCM、MPCM、RLCM、TTLCM[19]、ADMD[20]、DNGM和DLCM。其中Top-hat是典型的非线性滤波算法,LCM为早期HVS算法,MPCM、RLCM和TTLCM是近期提出的HVS算法,ADMD为融入梯度的HVS算法,DNGM和DLCM是近年来提出的与文中类型相同的双邻域算法。为了客观评价不同算法的性能,文中采用被广泛应用的平均信杂比率增益(Average Signalto Clutter Ratio Gain, $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $)、平均背景抑制因子(Average Background Suppression Factor, $\overline{\mathrm{B}\mathrm{S}\mathrm{F}}$)、受试者工作特征曲线(Receiver Operating Characteristic Curve, ROC)和实时性四个指标对所有算法进行评价。然而 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}}$难以直观表征图像序列中目标与虚警位置分布和背景抑制效果,因此文中提出一种基于TTSM的序列图像定性评价方法,并给出了不同算法在3组场景下的TTSM。文中所有仿真实验均在MATLAB 2018 b软件、2.8 GHz Inter Core i5 处理器16 GB内存的电脑上完成。

3.2 目标检测效果

为详细验证DDAM的检测效果,文中给出了典型的地海空3组真实场景下不同检测算法的结果,测试数据参数如表1所示。

表 1. 3组测试数据参数

Table 1. Three groups of test data parameters

SequencesImage resolutionImage numberTarget sizeTarget brightnessScenes description
1400×560502×3-4×6Dark and brightComplex background interference
2420×560903×4-6×9BrightStrong noise interference
3512×6401156×9-9×9BrightStrong edge interference

查看所有表

图6给出了3种真实场景的8种对比算法和文中算法的实验结果。其中,序列1是以天空为背景,目标由暗变亮的红外图像序列,如图6(a)所示。当目标为暗点时,只有MPCM和文中算法能够有效检测出目标;但通过对比文中算法与MPCM的显著图可知,文中算法的背景抑制效果更佳。序列2是以海面为背景的亮目标图像序列,如图6(b)所示。Top-hat、LCM、RLCM、TTLCM和ADMD算法受海面波纹影响,其所得结果中仍然包含较多背景噪声,且目标区域存在明显的“扩展效应”;相比之下,文中算法结果中的目标灰度分布更加集中,“扩展效应”微弱。序列3是城市地面背景下的亮目标图像序列,如图6(c)所示。由于城市中的灯光与目标的空间分布相似,同时建筑、栏杆等背景存在强边缘区域,导致基于Top-hat、LCM、RLCM、TTLCM和ADMD算法获取的显著图均存在大量的背景噪声;相比之下,文中算法、DNGM和DLCM算法的背景抑制和目标增强效果明显,有利于降低虚警。

图 6. 9种算法对3组真实红外序列的检测结果

Fig. 6. Detection results of nine algorithms for three groups of real infrared sequences

下载图片 查看所有图片

3.3 算法评价指标性能分析

为定量评价该算法性能,表2详细给出了9种算法在上述3组真实图像序列上的 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $和实时性指标。其中,NInf为红外图像序列中Inf出现的次数,Inf表示评价指标数值为无穷大,即背景被完全抑制。为尽可能客观的描述算法在3组实验序列上的 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $性能,文中将测试图像序列中Inf出现的次数加以记录,并在计算 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $值时去掉了Inf。从表2可以看出,在3组图像序列中,基于双邻域算法(DNGA、DLCM和DDAM)的 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $值与Inf出现的次数明显优于其他传统算法,同时在双邻域算法中,文中算法的目标增强和背景抑制性能更加优异;在算法运行速度方面,文中算法仅次于Top-hat与ADMD算法,但文中算法的 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $显著优于Top-hat与ADMD算法。相比同类先进算法DNGM和DLCM,处理640×512大小的红外图像时,文中算法运行速度平均每帧缩短约45 ms。总体来看,文中算法性能优于其他对比算法。

表 2. 9种算法在3组场景下的 $ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $和实时性

Table 2. \begin{document}$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $\end{document}, \begin{document}$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $\end{document} and real time performance of nine algorithms in three groups of scenarios

Evaluation indicatorsSequencesTop-hatLCMMPCMRLCMTTLCMADMDDNGMDLCMDDAM
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $110.564NaN45.296NaNNaN83.915305.688 NInf=1369.42 NInf=5342.158 NInf=6
25.3522.2258.0162.4537.9158.991159.462 NInf=38169.824 NInf=40286.574NInf=38
31.9390.53011.7580.90813.27814.809138.146 NInf=2663.864 NInf=3562.391 NInf=37
$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $11.2060.767 NInf=34.4270.721 NInf=14.394 NInf=413.60146.914 NInf=155.782 NInf=554.69 NInf=6
21.3900.3583.2320.4372.2504.80673.152 NInf=3880.489 NInf=40135.201NInf=38
31.3840.4456.2444.0556.15410.188107.484 NInf=2673.264 NInf=3583.793 NInf=37
Time/s10.0190.1210.1356.3284.1010.0340.1620.1520.120
20.0150.1140.1305.6133.5710.0310.1580.1480.113
30.0150.1630.1927.6204.7990.0360.2270.2150.170

查看所有表

在上述 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $的计算方法中,当图像序列中出现多次Inf时,仅依靠 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $已无法准确评价算法对序列图像背景抑制能力的优劣。为解决该问题,文中提出一种基于TTSM的序列图像评价方法,定义为:

$ \begin{array}{cc}{I}_{TTSM}\left(x,y\right)=\underset{i}{\mathrm{max}}\left[I({x}_{i},{y}_{i})\right]& i=\mathrm{1,2},\cdots ,N\end{array} $ (10)

式中: $ I({x}_{i},{y}_{i}) $表示第 $ i $帧显著图上 $ (x,y) $点的灰度值; $ N $代表序列中显著图的总帧数。如图7所示,TTSM即为显著图序列在坐标 $ (x,y) $处沿图像序列维度上的最大灰度值映射,映射结果能够直观体现整个序列中目标与虚警的位置分布以及目标增强和背景抑制效果。算法TTSM中的亮点区域越接近目标实际轨迹,算法对整体图像的目标增强和背景抑制效果就越好。

图 7. TTSM构建示意图

Fig. 7. TTSM construction diagram

下载图片 查看所有图片

图8展示了9种算法在3组图像序列上的TTSM。其中,图(a1)、(b1)、(c1)是目标的实际运动轨迹。

图 8. 9种算法对3组真实红外序列的TTSM

Fig. 8. Nine algorithms for TTSM of three sets of real infrared sequences

下载图片 查看所有图片

图8可发现,在3组红外图像序列中,文中算法的TTSM最清晰,在目标轨迹以外的图像区域中几乎不存在背景和干扰。其得益于文中算法在双邻域模型中引入了两次零值比较机制,这意味着在计算内、外邻域与中心区域差异的过程中,DDAM对背景进行了两次零值抑制,进而有效减少红外弱小目标检测虚警。为客观评估文中算法的小目标检测性能,9种算法对上述3组场景的ROC曲线如图9所示。文中将目标检测框中心与真值框中心的距离偏差小于两个像素作为目标正确检出标准。ROC曲线坐标TPR、FPR分别定义为:

图 9. 9种算法对3组不同场景的ROC曲线

Fig. 9. ROC curves of nine algorithms under three different scenes

下载图片 查看所有图片

$ \mathrm{T}\mathrm{P}\mathrm{R}=\frac{\mathrm{检}\mathrm{测}\mathrm{的}\mathrm{真}\mathrm{实}\mathrm{目}\mathrm{标}\mathrm{数}}{\mathrm{实}\mathrm{际}\mathrm{的}\mathrm{目}\mathrm{标}\mathrm{总}\mathrm{数}} $ (11)

$ \mathrm{F}\mathrm{P}\mathrm{R}=\frac{\mathrm{检}\mathrm{测}\mathrm{的}\mathrm{错}\mathrm{误}\mathrm{目}\mathrm{标}\mathrm{数}}{\mathrm{整}\mathrm{幅}\mathrm{图}\mathrm{像}\mathrm{中}\mathrm{像}\mathrm{素}\mathrm{总}\mathrm{数}} $ (12)

ROC曲线反映了在不同分割阈值下算法的正确检测概率(True Positive Rate,TPR)与误检率(False Positive Rate,FPR)的对应关系,曲线与横坐标围成的面积越大,算法性能越好。

图9(a)可以清楚看到,对于包含空中由暗转亮变化的目标图像序列,文中提出的DDAM与MPCM在相同误检率的情况下检测概率显著高于其他对比算法,且DDAM相比MPCM检测概率更高。从图9(b)~(c)中看出,对于只包含亮目标的图像序列,DDAM仍优于其他对比算法。同时,为进一步量化9种不同算法的目标检测性能,表3给出了不同算法在3组典型场景中的目标检测精度。其中Pd−4、Pd−3、Pd−2表示在误检率分别为10−4、10−3、10−2时目标正确检测概率的数值,该数值越大说明在当前误检率下,算法的精度越高。

表 3. 9种算法在3组典型场景中的检测精度

Table 3. Detection accuracy of nine algorithms in three groups of stypical cenarios

SequencesTPRTop-hatLCMMPCMRLCMTTLCMADMDDNGMDLCMDDAM
1Pd-40.720NaN0.920NaNNaN0.7200.7400.7400.960
Pd-30.760NaN0.960NaNNaN0.7400.7800.7800.960
Pd-20.8200.4800.9600.7800.7600.7800.7800.7800.980
2Pd-40.900NaN0.811NaN0.8440.7280.9440.9670.900
Pd-30.9560.6780.8440.8110.9220.8220.9670.9670.989
Pd-20.9780.8640.9660.9560.9890.9780.9780.9730.991
3Pd-40.2380.1030.276NaN0.3530.0360.4130.2010.370
Pd-30.3700.1810.7850.3880.9740.9310.9820.9820.982
Pd-20.9820.3710.9820.4740.9820.9820.9820.9820.982

查看所有表

表3中可以看出,文中算法的检测精度整体优于其他对比算法;例如,在包含由亮到暗的目标图像序列1中,文中算法在3种误检率下的正确检测概率均为最优。在只包含亮目标的图像序列2和3中,文中算法的平均检测精度高于MPCM约11%。

为进一步验证文中算法的普适性,采用9组复杂场景下的图像序列进行实验,其覆盖了强光、强背景边缘、低照度等条件下的亮目标、暗目标、单目标以及多目标场景。图10为文中算法的自适应分割阈值K设置为60时的检测结果,表4给出了12组场景下不同算法的平均性能。由表4可以看出,该算法在12个测试图像序列种的 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $相比于双邻域系列算法高出12%, $\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $值高出10%,同时算法的实时性优于MPCM算法18 ms,优于双邻域系列算法34~45 ms,在3种不同程度的误检条件下,该算法对12组场景中的平均目标检测正确率均达到最优。综上,该算法可有效处理不同复杂背景的目标检测任务。

图 10. 9组连续帧复杂场景下DDAM的检测结果

Fig. 10. Detection results of DDAM in nine consecutive frames of complex scenes

下载图片 查看所有图片

表 4. 12组场景下算法平均性能比较

Table 4. Average performance comparison of several target detection algorithms on twelve scences

AlgorithmsTop-hatLCMMPCMRLCMTTLCMADMDDNGMDLCMDDAM
$ \overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $6.2516.10620.9762.4739.11237.572205.098205.036230.499
$ \overline{\mathrm{B}\mathrm{S}\mathrm{F}} $1.4710.5274.9772.7384.27910.13876.39869.89593.388
Time/s0.0160.1350.1576.5234.2180.0380.1840.1730.139
TPR Pd-40.6090.4670.6730.4990.5720.5230.7030.6290.747
TPR Pd-30.6670.5120.8630.6530.8920.8280.9050.9090.933
TPR Pd-20.9100.6460.9250.7490.9230.9130.9260.9120.949

查看所有表

4 结 论

面向红外预警系统中高动态弱小目标检测任务,文中在分析了亮、暗目标统一特性的基础上,提出了一种双邻域差值放大的高动态红外弱小目标检测方法,利用目标内、外双邻域对称差异实现多尺度目标检测,同时降低计算复杂度。此外,文中提出了一种基于目标轨迹显著图的红外序列图像目标检测客观评价方法,有效表征整体图像序列中目标与虚警的位置分布、目标增强和背景抑制效果。多组实验结果表明,与同类双邻域检测算法相比,该算法的 $\overline{\mathrm{S}\mathrm{C}\mathrm{R}\mathrm{G}} $$\overline{\mathrm{B}\mathrm{S}\mathrm{F}} $分别提高12%与10%;对于640×512的红外图像,该算法在保证良好检测精度的同时将算法运行时间缩短约34 ms,是一种有效可行的高动态红外弱小目标检测算法。未来建立一个大规模、高质量的亮、暗弱小目标数据集将是开展基于深度学习目标检测的重点研究方向。

参考文献

[1] Han J H, Jiang Y W, Zhang X J, , et al. Infrared small target detection using tri-layer window local contrast[J]. Infrared and Laser Engineering, 2021, 50(2): 20200146.

[2] Xia C Q, Li X R, Yin Y P, , et al. Multiple infrared small targets detection based on hierarchical maximal entropy random walk[J]. IEEE Geoscience and Remote Sensing Letters, 2020: arXiv:2010.00923v1.

[3] Li J H, Zhang P, Wang X W, , et al. Overview of infrared dim and small target detection algorithms[J]. Journal of Image and Graphics, 2020, 25(9): 1739-1753.

[4] Zeng M, Li J X, Zang P. The design of top-hat morphological filter and application to infrared target detection[J]. Infrared Physics & Technology, 2006, 48(1): 67-76.

[5] Deshpe S D, Er M H, Venkateswarlu R, et al. Maxmean maxmedian filters f detection of small targets[C]Signal Data Processing of Small Targets 1999. International Society f Optics Photonics, 1999, 3809: 7483.

[6] Wang Y, Zheng Q B, Zhang J P, , et al. Small target detection in infrared image based on mathematical morphology[J]. Infrared and Laser Engineering, 2003, 32(1): 28-31.

[7] Gao C Q, Meng D Y, Yang Y, , et al. Infrared patch-image model for small target detection in a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009.

[8] Yang S, Yang J G, Miao Li, , et al. Infrared small target detection via spatial–temporal infrared patch-tensor model and weighted Schatten p-norm minimization[J]. Infrared Physics & Technology, 2019, 102: 103050.

[9] Liu Y, Peng Z M. Infrared small target detection based on resampling-guided image model[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.

[10] Dai Y M, Wu Y, Zhou F, et al. Asymmetric contextual modulation f infrared small target detection[C]Proceedings of the IEEECVF Winter Conference on Applications of Computer Vision, 2021: 950959.

[11] Wang K, Du S, Liu C, , et al. Interior attention-aware network for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13.

[12] Philip Chen C L, Li H, Wei Y T, , et al. A local contrast method for small infrared target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(1): 574-581.

[13] Han J H, Ma Y, Zhou B, , et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172.

[14] Han J H, Liang K, Zhou B, , et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616.

[15] Wei Y T, You X G, Hong Li. Multiscale patch-based contrast measure for small infrared target detection[J]. Pattern Recognition, 2016, 58: 216-226.

[16] Wu L, Ma Y, Fan F, , et al. A double-neighborhood gradient method for infrared small target detection[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(8): 1476-1480.

[17] Pan S D, Zang S, Zhao Mi, , et al. Infrared small target detection based on double-layer local contrast measure[J]. Acta Photonica Sinica, 2020, 49(1): 0110003.

[18] Jiang G Q, Wan L J. Detection of dim and small infrared targets based on the most appropriate contrast saliency analysis[J]. Infrared and Laser Engineering, 2021, 50(4): 20200377.

[19] Han J H, Moradi S, Faramarzi I, , et al. A local contrast method for infrared small-target detection utilizing a tri-layer window[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(10): 1822-1826.

[20] Moradi S, Moallem P, Sabahi M F. Fast and robust small infrared target detection using absolute directional mean difference algorithm[J]. Signal Processing, 2020, 177: 107727.

袁帅, 延翔, 张昱赓, 秦翰林. 双邻域差值放大的高动态红外弱小目标检测方法(特邀)[J]. 红外与激光工程, 2022, 51(4): 20220171. Shuai Yuan, Xiang Yan, Yugeng Zhang, Hanlin Qin. High-dynamic infrared small target detection based on double-neighborhood difference amplification method(Invited)[J]. Infrared and Laser Engineering, 2022, 51(4): 20220171.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!