Multimodal lie detection dataset based on Chinese dialogue

目的谎言检测通过分析个体的生理行为特征来识别其是否说谎，在刑侦和安全审查等领域具有重要应用。然而，目前缺乏公开的中文测谎数据集，考虑到语言和文化方面的差异，基于英文数据集研发的算法可能难以适用于中文语境。此外，现有数据集样本规模有限，在激发被试说谎动机方面存在不足。针对这些问题，构建了首个公开的中文多模态测谎数据集（Southeast University multimodal lie detection dataset，SEUMLD）。方法实验基于犯罪知识测试范式，设计了模拟犯罪和模拟审讯等流程以激发被试的说谎动机。通过记录被试在模拟审讯过程中的多模态信号，SEUMLD包含了长期生活在中文语境下的76位被试的视频、音频以及心电3种模态数据，共计3 224段对话。该数据集不仅提供了用于判断被试是否说谎的长会话标注（粗粒度标注），还提供了每段长会话细化分割的精准标注（细粒度标注）。基于SEUMLD，设计了跨语种实验以验证语言文化差异对说谎行为的影响；通过迁移学习实验评估其在提升模型泛化能力上的性能；最后基于经典谎言检测方法对SEUMLD进行了基准实验。结果跨语种测谎实验在中英文语境下表现出了显著差异。迁移学习实验验证了SEUMLD在提升模型泛化能力上的优异表现。基准实验结果显示，基于单模态的粗粒度和细粒度测谎的最佳未加权平均召回率（unweighted average recall，UAR）识别结果分别为0.757 6和0.709 6；融合了多模态信息后的测谎性能达到最佳，粗粒度检测和细粒度测谎的识别结果分别为0.808 3和0.737 9。结论SEUMLD为研究中文语境下的多模态测谎提供了重要的数据来源，对未来研究中文母语者的说谎模式具有重要意义。数据集开源地址：https://aip.seu.edu.cn/2024/1219/c54084a515309/page.htm或https://doi.org/10.57760/sciencedb.22548。