面向RGB-T目标跟踪的三分支多阶段融合网络

目的目标跟踪是指在一段视频序列中持续跟踪某个目标，单一模态来源限制了跟踪性能的提升，RGB-T （RGB-thermal）目标跟踪通过对可见光与热红外信息的融合来提升精度。但现有的算法往往侧重于模态间融合而忽略了局部与全局特征的融合，导致跟踪性能下降。本文提出一种基于多阶段融合的三分支RGB-T目标跟踪网络，在不同阶段对局部特征与全局特征分别建模，以促进多模态特征的融合与广泛传播。方法本研究设计了一种包含纯卷积分支的三分支多阶段融合网络结构，通过在网络的不同阶段采用不同的融合策略实现特征融合与增强。卷积分支通过卷积融合模块（convolutional fusion module， CFM）来提取和融合局部信息，并利用跨层连接的方式将其传播至深层网络以避免局部特征丢失。同时使用部分参数共享的注意力融合增强模块（attention fusion enhancement module， AFEM）来融合全局特征，从而缓解不同模态数据分布差异造成的影响。通过多阶段的全局和局部特征融合，本方法能够提取更有效的多模态特征表示，以确保鲁棒的目标跟踪。结果在三个常用跟踪数据集上的对比实验表明，所提方法在LasHeR数据集上的PR、NPR和SR相比于基线算法分别提升了2.4%，1.8%和1.5%，在大部分挑战属性上均有明显的性能提升，同时在RGBT210与RGBT234数据集上依然取得先进的跟踪结果。消融实验表明CFM、AFEM以及三分支结构的有效性。结论本文提出的多阶段融合三分支网络能够对跨模态特征以及局部和全局特征进行更加充分的融合，在单一模态缺陷时能够更好地利用可靠模态的细节信息辅助决策，显著提升了RGB-T目标跟踪性能。