Face forgery detection with image patch comparison and residual map estimation

目的由于不同伪造类型样本的数据分布差距较大，现有人脸伪造检测方法的准确度不够高，而且泛化性能差。为此，本文引入“图像块归属纯净性”和“残差图估计可靠性”的概念，提出了基于图像块比较和残差图估计的人脸伪造检测方法。方法除了骨干网络，本文的人脸伪造检测神经网络主要由纯净图像块比较模块和可靠残差图估计模块两部分组成。为了避免在同时包含人脸和背景像素的图像块上提取的混杂特征对于图像块比较的干扰，纯净图像块比较模块中选择只包含人脸像素的纯净人脸图像块和只包含背景像素的纯净背景图像块，通过比较两种图像块纯净特征之间的差异来检测伪造图像，图像块的纯净性保障了特征提取的纯净性，从而提高了特征比较的鲁棒性。考虑到靠近伪造边缘的像素比远离伪造边缘的像素具有较高的残差估计准确度，本文在可靠残差图估计模块中根据像素到伪造边缘的距离设计了一个距离场加权的残差损失来引导网络的训练过程，使网络重点关注输入图像与对应真实图像在伪造边缘附近的差异，对于可靠信息的关注进一步增强了伪造检测的鲁棒性。结果在FF++（FaceForensics++）数据集上的测试结果显示：与对比算法中性能最好的F2Trans-B相比，本文方法的准确率和AUC（area under the ROC curve）指标分别提高了2.49%和3.31%，在FS（FaceSwap）与F2F（Face2Face）两种伪造数据上的准确率指标分别提高了6.01%和3.99%。在泛化性能方面，与11种已有方法在交叉数据集上的测试结果显示：本文方法与其中性能最好的方法相比，在CDF（Celeb-DF）数据集上的视频AUC指标和图像AUC指标分别提高了1.85%和1.03%。结论与对比方法相比，由于提高了特征信息的纯净性和可靠性，本文提出的人脸图像伪造检测模型的泛化能力和准确率优于对比方法。