面部动作单元检测的时空融合网络

目的面部动作单元（AU）检测是情感计算与计算机视觉中的重要研究问题，现有方法往往在空间关系建模和时间动态建模方面存在不足，导致检测的准确率与鲁棒性受限。为此，提出一种时空融合的统一AU检测框架，以同时捕捉AU间空间依赖与跨帧时间演化。方法本文在利用ResNet-18进行特征提取的基础上，设计了空间关系建模（SRM）模块与时间关系建模（TRM）模块。SRM通过图神经网络显式建模帧内AU的协同激活与对抗模式，TRM结合帧间差分与图建模以捕捉动态变化。进一步提出时空特征融合（SFF）策略，自适应平衡空间与时间特征的重要性。最终利用基于余弦相似度的分类模块完成AU识别，并采用加权交叉熵损失解决类别不平衡问题。结果在BP4D和DISFA两个公开数据集上的实验表明，所提方法在保持低计算与存储开销的同时，取得了先进水平的性能。在BP4D数据集上，平均F1-score达到66.00%，优于最新方法；在DISFA数据集上，平均F1-score为65.34%，接近最优结果。消融实验验证了SRM、TRM和SFF三者协同作用的重要性，不同AU的检测结果也表明该方法在动态AU识别方面优势显著。结论本文提出的时空融合AU检测框架，能够有效整合空间与时间两方面信息，提升检测的准确率和鲁棒性，同时具备轻量化的计算优势。该研究为复杂动态场景下的面部动作单元检测提供了一种高效的解决方案，对情绪识别及人机交互等应用具有积极意义。