1.   引言

文献[9-11, 18]提出的多特征融合思想，它们为提高弱小目标跟踪的稳定性提供了思路，其中文献[9，11]这些算法是将灰度与边缘或是形状特征进行融合，而对于低信噪比(SNR < 3 dB)场景下弱小目标往往是缺乏这些特征信息，而文献[10, 18]虽然融合灰度和运动特征，其运动特征是通过帧间差分的方式来获取，这对动态变化且低信噪比的场景适应性不强。为此，本文在利用目标灰度特性基础上，考虑到目标在相邻帧中运动具有一定的连续性，而噪声是随机出现的，可利用目标与噪声在帧间的运动差异来实现目标跟踪。文中首先建立带有空间位置信息的灰度特征，然后结合邻域运动模型和灰度概率图来获取弱小目标运动特征，并融合这两种特征用于构建联合观测模型，同时考虑到目标灰度模板并不稳定，加入了自适应更新模板的策略，最终实现红外序列图像弱小目标的跟踪。

低信噪比(signal-to-noise ratio, SNR < 3 dB)场景下的弱小目标跟踪是检测跟踪领域的重要组成部分。由于目标成像距离较远，加之观测过程中易被噪声和强杂波干扰，导致目标在图像上仅占几个像素，且缺乏形状、纹理等信息，所以研究低信噪比场景下的弱小目标跟踪具有重要意义。当前红外弱小目标跟踪算法主要有单帧检测算法、Meanshift、卡尔曼滤波法、扩展卡尔曼以及后来发展的无迹卡尔曼等。其中，单帧检测算法，如改进Sobel算子的单帧红外弱小目标检测^[1]和基于小波变换和偏斜度的单帧检测算法^[2]，这些单帧检测算法在某种场景中取得一定的检测效果，但它们没有充分利用目标在不同帧间的运动信息，具有一定的局限性；Meanshift算法在遇到动态变化背景或目标被遮挡等场景时，易造成跟踪失败^[3]；卡尔曼滤波算法仅适用于线性高斯系统^[4]；扩展卡尔曼滤波可有效解决非线性系统的目标跟踪问题，但其很难解决滤波发散问题^[5]；为了解决因非线性系统导致的滤波发散问题，Julier提出无迹卡尔曼滤波算法，但该方法存在较大的计算误差^[6]。粒子滤波法能较好地解决非线性和非高斯场景，已发展为弱小目标跟踪算法的一个重要研究方向^[7-8]。但是面对相似背景或强噪声干扰时，传统的粒子滤波在以下两种情况时易出现跟踪丢失：1)目标尺寸较小，仅依靠基于灰度或形状特性等将导致跟踪极不稳定；2)在低信噪比(SNR < 3 dB)场景下，由于易受强噪声干扰，导致易出现跟踪丢失。近年来，为解决低信噪比场景下仅依靠目标单一特征(灰度)来跟踪目标，易造成跟踪丢失的问题，部分研究学者提出基于多特征融合的粒子滤波跟踪方法^[9-11]。而随着机器学习算法在目标跟踪领域得到了快速发展，有研究学者提出基于视觉显著性^[12]和稀疏表示^[13-14]的弱小运动目标跟踪算法，基于显著性算法只有当目标与背景差异较大时跟踪效果较好，而基于稀疏表示法当目标和背景间的稀疏特征差异性小时跟踪效果较差。当前随着计算机运算能力的提升及神经网络的发展，深度学习、深度迁移学习在目标跟踪取得相较传统的方法较好的跟踪精度，如王立军提出的利用卷积网络进行视觉跟踪^[15]，马曹提出的利用多层卷积网络进行特征提取来对目标进行跟踪^[16]，还有如杨雪提出利用深度迁移学习对舰船目标进行检测跟踪^[17]。这些算法都取得较好的跟踪结果，但深度学习及其发展的相关算法需要大量的训练样本，耗时较长，硬件成本高，在实际应用中受到很大的限制，同时由于弱小目标本身缺乏形状纹理特性，这对深度网络的构建造成了一定难度，无法获取弱小目标与噪声间的特征差异，很难实现目标跟踪。上述方法对于低信噪比(SNR < 3 dB)情况下的弱小目标跟踪问题，检测性能很难满足要求。

2.   粒子滤波算法

式中：$w_k^i$为k时刻第i个粒子权值，N为总粒子数。

式中：A是状态转移矩阵，$s_k^i = \{ x,y,{v_x},{v_y},{H_x},{H_y}\} $为时刻k第i个粒子状态，$(x,y)$为目标中心坐标，$({v_x},{v_y})$为目标的运动速度，$({H_x},{H_y})$为目标宽度和高度，$randn( \cdot )$是满足正态分布N(0, 1)的随机数。

1) 初始化：选取候选目标，建立参考模板，并进行粒子集初始化。

算法具体如下：

设每个粒子的运动符合一阶自回归方程，得到初始状态转移粒子集。

4) 计算粒子权值：利用Bhattacharyya系数来计算当前目标模板与参考模板间的相似度，同时计算对应的粒子权值$w_k^i$，并将权值进行归一化。

5) 判断退化程度：根据式(2)来度量粒子退化程度，当${N_{{\rm{eff}}}}$小于预设阈值，表示粒子退化严重，转向步骤2)。反之继续下一步。

2) 重采样：以第1)步获取的候选目标为中心，通过随机采样获取N个粒子集，并设定粒子权重为1/N。

7) 结束：判断视频帧是否结束，若结束则停止，否则转向步骤3)。

式中${S_k}$为k时刻所有粒子的加权状态。

6) 状态估计：对粒子集进行状态估计。

3) 粒子状态转移：通过式(1)，将粒子集合进行状态转移。

3.   改进的粒子滤波算法

由于弱小目标仅占几个像素，缺乏有效的形状或纹理特征。但当弱小目标处于复杂场景下时，仅采用灰度特征往往造成目标丢失。为增强跟踪效果，文中先采用空间位置加权的方式获取目标的灰度特征，并将邻域运动模型和灰度概率图相结合来获取弱小目标运动特征，然后通过构建灰度与运动特性的联合观测模型来计算粒子权值。同时在跟踪过程中，加入目标灰度参考模板的更新策略，有效提高目标跟踪性能。

3.1   空间信息的灰度特征提取

由于灰度直方图往往缺乏空间分布信息，因此本文通过空间位置加权的方式来获取灰度特征。先将灰度值等级为L的原图像映射为H级，那么带有空间信息的灰度直方图可用下式表示^{[10, 18]}：

式中$\rho $越大，候选目标和参考目标越相近。可利用式(6)来获取灰度特征的概率模型^{[10, 18]}：

同样可得到候选目标在当前帧${y_i}$处的灰度直方图${p_u}({y_i})$，该灰度直方图也具有空间位置信息。结合巴氏系数来计算候选区和参考目标的相似度，用以下公式计算^{[10, 18]}：

式中：$u = 1,2, \cdots ,H$，${x_0}$为参考目标中心位置，$C = {\left[ {\sum\limits_{i = 1}^T {k\left( {{{\left\| {\frac{{{x_0} - {x_i}}}{h}} \right\|}^2}} \right)} } \right]^{ - 1}}$为归一化系数，T为像素总数目，$h = \sqrt {h_x^2 + h_y^2} $为区域宽度，${\rm{ \mathsf{ δ} }}( \cdot )$为delta函数，$b({x_i})$为点${x_i}$处映射函数，$k( \cdot )$为核函数，它表明离目标中心越近，权重较高。

式中$\sigma $为一经验常数，根据文献[9]取0.02。

3.2   结合邻域运动模型和灰度概率分布图的运动特征提取

2) 考虑到去背景后，能量仍然很弱，为准确地分割目标，需对目标做增强处理。为了有效累积时间域上的能量将目标的运动模型融入其中。目标在邻域帧的运动模型为如图 1的12种情况，图 1(a)~图 1(e)为横向，图 1(f)~图 1(j)为竖向，图 1(k)，图 1(l)为对角方向的运动。

1) 由于目标比较弱小，为去除大部分背景对目标的干扰，采用文献[19]中改进的各向异性算法对背景进行预测，将预测得到的背景图像$f'(i,j,{t_M})$与原图像$f(i,j,{t_M})$做差分处理，获取去背景后的序列差分图$D(i,j,{t_M})$：

式中：r为目标运动的邻域半径，${T_k}$为图 1中第$k(k = 1,2, \cdots ,12)$种目标运动模型，为去背景后的差分图，为像元$(i,j)$在第k种运动模型下的能量值，$P(i,j,{t_M})$表示第${t_M}(M = 1,2, \cdots ,n)$帧图像在12种运动模式下的最大值。结合邻域运动模型的$M$帧累积能量表示为

式中：M为图像累积的帧数，${F_{\rm{e}}}$为增强后的图像。

图  1 

帧间运动模型

Figure  1. 

Target movement model

下载: 全尺寸图片 幻灯片

式中：E_M为该候选目标区域的零阶矩；$(i,j)$为像元点的行列号，$(i,j) \in N$为某个候选目标块像元点组成的集合，集合中像元的总个数为N，${f_{\rm{m}}}(i,j)$为运动概率分布图中某点$(i,j)$的灰度值。根据式(10)可知，E_M值越大，那么该区域是目标的概率越大。运动特征观测概率模型计算公式为^{[10, 18]}：

文中通过求取目标在连续$M$帧的能量极大值，将目标能量进行累积。目标的运动能量表达式为：

4) 去除运动模型图像中一些伪目标点，获取与参考目标灰度相近的运动概率分布图。先根据文献[21]的反向投影方式，来计算当前帧的灰度概率图${f_{\rm{g}}}$，紧接着将灰度概率图与运动模型图进行相乘获取运动概率分布图${f_{\rm{m}}}$。

5) 结合运动概率分布图来计算当前图像某个候选目标的运动特征，计算公式如下^{[10, 18]}：

3) 采用文献[20]中的局部最大值分割法对增强后的图像${F_{\rm{e}}}$进行分割，获取序列二值图。二值图中像素为1的被认为候选运动点，即获取到当前帧的运动模型图像。

式中：$d = \sqrt {1 - {\mathit{\boldsymbol{E}}_M}/{E_M}_0} $，${E_M}_0$为运动概率分布图中所有像元点的灰度值总和。

弱小目标跟踪过程中受到强噪声或相似背景干扰，仅利用单一特征往往出现跟踪偏差。为了提高跟踪准确性，本文在获取灰度特征的同时，还提取了目标的运动特征，它有效结合了帧间运动模型和灰度概率分布图。提取运动特征流程如下：

3.3   联合观测模型

式中$\alpha \in [0,1]$为两种特征在联合观测概率的权值。当目标与背景灰度相似时$\alpha $取值较小，更多的是考虑运动特性；反之$\alpha $取值较大。

将上述两种特征进行融合处理，获取灰度和运行特征的联合观测模型，具体公式如下^{[10, 18]}：

3.4   灰度模板更新

目标参考模板随着时间推移会变得不稳定。文中在跟踪过程中，加入参考目标模板的更新机制。设k时刻目标的灰度直方图为${p_u}({\hat s_k})$，仅当当前帧目标灰度与参考目标灰度的巴氏系数大于设定阈值T_h时，参考目标模板才会更新，具体公式为^{[10, 18]}

式中：$\beta \in [0,1]$为权值系数，根据文献[10, 18]取$\beta = 0.03$；阈值${T_{\rm{h}}} \in (0,1)$为参考模板更新条件，根据文献[10, 18]取T_h为0.85。

3.5   改进算法

4) 计算权值：根据式(12)来计算特征融合后的粒子权值。

2) 重采样：以第1)步获取的候选目标为中心，通过随机采样获取N个粒子集${s_k} = \{ ({x^i},{y^i},v_x^i,v_y^i,H_x^i,H_y^i),{w^i}\} _{i = 1}^N$，其中$\{ {w^i} = 1/N\} _{i = 1}^N$，N为粒子个数。

5) 计算有效粒子个数，采用式(2)评价粒子退化程度。

图  2 

流程图

Figure  2. 

Flow chart

下载: 全尺寸图片 幻灯片

6) 判断：若有效粒子数${N_{{\rm{eff}}}}$小于阈值${N_{{\rm{Th}}}}$，则直接进入步骤2)，进行重采样；否则进入下一步。

文中结合上述分析，给出了改进粒子滤波的弱小目标跟踪算法。算法如下：

7) 粒子状态估计：采用式(3)计算k时刻目标的状态估计，即最终的跟踪结果。

3) 状态转移：通过式(1)获取状态转移后的粒子集。

综上所述，本文所提出的改进算法流程图如图 2所示。

1) 初始化：首先从第一帧选取待跟踪目标，获取目标粒子集$s_k^i = \{ x,y,{v_x},{v_y},{H_x},{H_y}\} $。

9) 判断视频帧是否结束，若结束则停止，否则转向步骤3)。

8) 更新目标灰度模型：根据式(13)自适应更新参考目标灰度模板。

4.   实验结果与分析

文中的实验结果是通过Matlab 2012B编程实现的。为验证本文方法的有效性，运用3个真实场景的序列图像对弱小目标进行跟踪。序列1的目标在复杂的云层背景中运动，运动过程受相似背景的干扰；序列2的目标在动态变化的背景中运动，且受强噪声的干扰；序列3的目标位于起伏变化的云层中运动，运动过程受强噪声的干扰。各个序列图像的信噪比及图像信息如表 1所示。文中采用的信噪比定义为$SNR = 10 \times \lg (({u_{\rm{t}}} - {u_{\rm{b}}})/{\sigma _{\rm{b}}})$，单位为dB，其中${u_{\rm{t}}}$代表目标区域均值，${u_{\rm{b}}}$代表背景区域均值，${\sigma _{\rm{b}}}$代表背景区域标准差，背景区域一般为目标区域的3倍，如当目标大小是3×3时，背景区域以目标为中心的9×9范围。具体的实验参数如下：1)灰度概率模型式(6)中$\sigma $=0.2，2)量化级数式(4)中H=32，3)联合观测模型式(12)中α=0.3，4)灰度模板更新式(13)中β=0.03、T_h=0.85 ^{[10, 18]}，5)粒子集N=50，有效粒子的阈值${N_{{\rm{Th}}}} = 4N/10$。

实验序列	平均信噪比/dB	帧长度	图像大小	目标大小
序列1	1.3	100	278×246	2×2
序列2	2.0	112	279×247	2×2
序列3	1.6	389	320×240	5×5

下载: 导出CSV 

| 显示表格

4.1   运动特性提取结果

4.1.1   参数选取分析

为了减少图像中噪声能量的累积，希望选择目标运动的邻域半径$r$为满足式(15)的最小值。图 3给出累积长度与图像信噪比间的关系，从图 3可看出当累积长度为4帧时，信噪比为4.42，能满足检测需求。实验中选取累积帧长度$M$=4帧，考虑到远距离成像弱小目标运动较缓慢(通常$v \leqslant 2$ pixels/s)，从而目标运动的邻域半径$r$=6。

影响运动特征提取的主要参数是$M$帧能量累积的目标运动的邻域半径$r$和累积帧长度$M$。两者满足以下公式：

图  3 

信噪比增益和累积帧长度关系示意图

Figure  3. 

Relationship between SNR gain and cumulative frame length

下载: 全尺寸图片 幻灯片

4.1.2   结果与分析

文中通过提取运动概率分布图来获取候选目标运动特征，它通过帧间的运动模型有效将灰度和运动信息融进概率分布图中，进而达到消除噪声的干扰。图 4为提取运动概率图的流程。图 4(a)为序列2中的第1帧图像，图 4(b)为第1帧运动模型图，图 4(c)为灰度概率图，图 4(d)为运动概率图，它通过图 4(b)和4(c)相乘得到。

图  4 

运动概率图。(a)第1帧; (b)运动模型图; (c)灰度概率图; (d)运动概率图

Figure  4. 

Probability distribution map of motion. (a) The 1st frame; (b) The motion model graph; (c) The gray probability graph; (d) The motion probability graph

下载: 全尺寸图片 幻灯片

4.2   灰度相近的场景

由于序列1的目标在灰度相近的场景中运动，受相似背景的干扰。为验证多特征融合后跟踪的有效性，文中从定性和定量角度来评价不同算法对目标跟踪效果，包括采用仅依靠灰度特征的粒子滤波(标准粒子滤波)和融合灰度与运动特征的改进粒子滤波(本文算法)。其中定性从视觉角度来看每帧跟踪结果，定量采用式(16)来计算不同方法的跟踪误差曲线。${c_x}$、${c_y}$为当前帧目标中心坐标，${o_x}$、${o_y}$为目标真实中心坐标，${E_{{\rm{rr}}}}(i)$为第i帧跟踪误差，误差越小，表明跟踪结果越准确。

序列1要跟踪的是在灰度相近的场景中运动，目标受相似背景底干扰，增加跟踪难度。图 5和图 6给出了序列1部分帧的跟踪结果，其中图 5为仅采用灰度特征的粒子滤波的跟踪结果，图 6为本文方法的跟踪结果，红色方框为当前帧目标跟踪结果, 绿色框为目标的实际位置。从图 5的跟踪结果可以看出，仅采用灰度特征的粒子滤波算法，一开始可有效地跟踪目标，但从第55帧开始(图 5(b))，由于目标被相似灰度背景干扰，开始出现跟踪漂移，第61帧(图 5(c))中跟踪误差逐渐增大。原因在于目标在第55帧开始受相似背景的干扰，仅依靠灰度特征不能很好表观目标模型，导致跟踪失败。而从图 6可看出，因为文中将灰度和运动特征融入粒子滤波中，使得目标得到有效跟踪。图 7用跟踪误差曲线有效区分这两种算法的跟踪性能。从图 7可看出，仅依靠灰度特征的粒子滤波算法，从第61帧后由于受相似背景干扰跟踪误差呈发散趋势，误差值大于3；而本文算法跟踪误差始终保持在1.5以下。实验表明：仅采用灰度特征的粒子滤波，易受到相似灰度背景干扰造成跟踪误差较大，融合灰度与运动特征的粒子滤波，由于通过帧间的运动模型有效将目标灰度和运动信息融入粒子滤波当中，有效提高跟踪精度。

图  5 

标准粒子跟踪结果。(a)第5帧; (b)第55帧; (c)第61帧; (d)第96帧

Figure  5. 

Tracking results of particle filter. (a) The 5th frame; (b) The 55th frame; (c) The 61th frame; (d) The 96th frame

下载: 全尺寸图片 幻灯片

图  6 

本文算法跟踪结果。(a)第5帧; (b)第55帧; (c)第61帧; (d)第96帧

Figure  6. 

Tracking results of the proposed method. (a) The 5th frame; (b) The 55th frame; (c) The 61th frame; (d) The 96th frame

下载: 全尺寸图片 幻灯片

图  7 

序列1跟踪误差曲线

Figure  7. 

Tracking error curve of scene 1

下载: 全尺寸图片 幻灯片

4.3   强噪声干扰场景

图  10 

序列2跟踪误差曲线

Figure  10. 

Tracking error curve of scene 2

下载: 全尺寸图片 幻灯片

而序列3要跟踪的是在起伏变化的云层中运动的目标，运动过程同样受强亮度噪声的干扰。从第234帧(图 11(a))到250帧(图 11(c))期间，目标一直受强亮度噪声干扰。从图 11可看出，一开始采用标准粒子滤波算法能准确跟踪目标，从250帧后目标由于受强亮度的噪声干扰，导致目标跟踪丢失(见图 11(d))，一直保持这种状况到视频结束。主要原因在于当目标受强噪声的干扰时(见图 11(a))，会错误地将强噪声认为目标，这时获取的粒子集不能很好地表征目标，粒子集退化，导致跟踪丢失。但从图 12看出，第234帧目标被强噪声干扰时，本文算法仍能准确跟踪目标，红色方框为当前帧目标跟踪结果, 绿色框为目标的实际位置。图 13的跟踪误差曲线真实反映这两种算法的跟踪性能。在没有受到强噪声干扰前，两种算法的误差都小于1，当目标受到强噪声干扰后，标准粒子滤波算法误差呈现增大趋势，如250帧中，标准粒子滤波算法的跟踪误差为3.2，而本文算法跟踪误差为0.2。受到强噪声干扰后，标准粒子滤波算法的跟踪性能越来越差直至目标丢失，而本文算法在目标受强噪声干扰时，由于采用各向异性算法对背景进行预测，再充分考虑目标邻域内的运动特性，有效去除背景噪声干扰和增强目标，准确地跟踪目标。

图  8 

标准粒子跟踪结果。(a)第25帧；(b)第48帧；(c)第80帧；(d)第101帧

Figure  8. 

Tracking results of particle filter. (a) The 25th frame; (b) The 48th frame; (c) The 80th frame; (d) The 101th frame

下载: 全尺寸图片 幻灯片

图  11 

标准粒子跟踪结果。(a)第234帧；(b)第239帧；(c)第250帧；(d)第277帧

Figure  11. 

Tracking results of particle filter. (a) The 234th frame; (b) The 239th frame; (c) The 250th frame; (d) The 277th frame

下载: 全尺寸图片 幻灯片

图  12 

本文算法跟踪结果。(a)第234帧；(b)第239帧；(c)第250帧；(d)第277帧

Figure  12. 

Tracking results of the proposed method. (a) The 234th frame; (b) The 239th frame; (c) The 250th frame; (d) The 277th frame

下载: 全尺寸图片 幻灯片

图  13 

序列3跟踪误差曲线

Figure  13. 

Tracking error curve of scene 3

下载: 全尺寸图片 幻灯片

图  9 

本文算法跟踪结果。(a)第25帧；(b)第48帧；(c)第80帧；(d)第101帧

Figure  9. 

Tracking results of the proposed method. (a) The 25th frame; (b) The 48th frame; (c) The 80th frame; (d) The 101th frame

下载: 全尺寸图片 幻灯片

序列2要跟踪的是在动态变化的背景中运动的目标，目标在第48帧(图 8(b))右上角出现一个强噪声，当目标移动到强噪声附近时，仅采用灰度特征的粒子滤波目标由于受到强噪声的干扰，在跟踪过程中会将强噪声错误认为目标(见图 8(b)和图 8(c))，导致跟踪失败(见图 8(d))。而本文算法，由于先采用各向异性算法对背景进行预测，再充分考虑目标邻域内的运动特性，有效去除背景噪声干扰和增强目标，从图 9可看出，由于将目标灰度和运动特征融入粒子滤波中，所以能有效跟踪目标，红色方框为当前帧目标跟踪结果，绿色框为目标的实际位置。图 10用跟踪误差曲线有效区分这两种算法的跟踪性能。从图 10看出，在没有受到强噪声干扰前，两种算法的误差都小于1，在受强噪声干扰后，仅采用灰度特征的粒子滤波错误地将噪点当成目标，导致跟踪误差变大。如第67帧中，仅采用灰度特征的粒子滤波算法的E_rr达到11.7，本文方法的E_rr为1.3。结果有效证明：仅采用灰度特征的粒子滤波易受强噪声的干扰，导致跟踪丢失，融合灰度与运动特征的粒子滤波有利于提高跟踪准确度。

5.   结论

针对低信噪比(SNR < 3 dB)场景下弱小目标易出现跟踪丢失的问题，文中结合文献[10, 18]提出的多特征融合思想，将其引入文中对粒子滤波进行改进，并用以跟踪实际场景中的弱小目标。本文在利用目标灰度特性基础上，考虑到目标在相邻帧中运动具有一定的连续性，而噪声是随机出现的，充分利用这一特性差异来实现目标跟踪。首先建立带有空间位置信息的灰度特征，并将邻域运动模型和灰度概率图相结合来获取弱小目标运动特征，然后通过构建灰度与运动特性的联合观测模型来计算粒子权值，同时在跟踪过程中加入了参考模板更新机制。根据不同场景的跟踪效果，得出以下结论：与传统算法相比，本文算法能有效处理相似灰度背景或强噪声等情况，有效跟踪目标。