基于多域特征融合的多分支网络用于Deepfake检测

目的由于现有的基于卷积神经网络的检测方法往往局限于观察全局或局部时空特征，难以获取更全面的伪造线索，从而限制了检测方法的泛化能力。为了解决这一问题，本文提出一种基于多域特征融合的多分支网络框架（multi-branch multi-division，MBMD），综合利用频率域、空间域和时空域信息，以挖掘更全面细致的伪造线索。方法在频率流中对图像进行DCT（discrete cosine transform）变换，去除低频分量并保留高频分量，以捕捉图像细微结构变化的频率特征。在空间流中，设计了空间特征增强块（spatial feature enhancement block，SEB）对CNN（convolutional neural network）的浅层特征进行多尺度增强，以捕捉图像中的局部异常区域。此外，在时空流中设计了信息补充块（information supplement block，ISB），将空间流中的局部特征与视觉Transformer捕获的全局高层特征相结合，使网络能够更全面地捕捉全局和局部的时空不一致。最后，通过交互融合模块（interactive fusion module，IFM）将频率域、空间域和时空域信息进行增强融合，以提取更全面细致的特征。结果实验在不同数据集上与最新的方法进行了比较：在跨数据集实验中，相比于性能第2的检测模型，在Celeb-DF-v2数据集中ACC值提高2.63%，AUC值提高3.01%；在DFDC数据集中，相比于最新的检测模型，AUC值提高4.43%。同时通过消融实验分析了不同模块对泛化性能的影响，验证了提出方法的有效性。结论在不同数据集上的实验表明，提出的方法在未知数据集上具有更好的泛化能力。