多视角视觉—语言交互的多模态媒体内容篡改检测与定位

目的错误信息的传播已成为数字时代亟待解决的重大挑战。随着多媒体技术的快速发展，网络空间中视觉与文本模态相结合的虚假内容呈现泛滥态势。尽管现有研究在多模态媒体篡改检测与定位方面取得了一定进展，但普遍存在跨模态层次化信息交互不足、篡改区域定位精度有限等关键问题。针对上述挑战，本研究提出了一种基于多视角视觉-语言信息交互的篡改检测框架。方法首先，通过全局与局部双视角特征嵌入，构建层次化篡改对比学习机制，实现跨模态细粒度语义对齐，有效捕捉篡改区域的语义不一致性。其次，创新性地设计了伪造感知交互模块，集成多尺度特征提取与频域特征融合策略，显著提升了不同粒度篡改特征的定位能力。此外，引入跨模态门控融合模块，采用动态权重分配策略优化模态间信息交互，从而增强模型在多模态深度伪造检测及细粒度分类任务中的判别能力。结果实验结果表明，在相同实验环境下，本模型相较基于分层推理的HAMMER（hierarchical multi-modal manipulation reasoning Transformer）框架，在图像深度伪造定位任务中IoU75（intersection over union at a threshold of 75%）指标提升6.41%，文本篡改定位任务的召回率与F1分别提高5.63%和2.01%。与VLP-GF（visual-language pre-training with gate fusion）框架相比，本模型在多模态多任务学习的综合评估中展现出全面性能优势。结论本文提出的多视角视觉-语言信息交互模型相较于其他模型，在多模态深度伪造检测与定位任务中表现出显著优越性，为多媒体内容安全领域提供了新的技术解决方案。