Multi-agent path planning based on improved double DQN

目的随着虚拟现实技术的发展，在虚拟场景中，基于多智能体的逃生路径规划已成为关键技术之一。与传统的火灾演习相比，采用基于虚拟现实的方法完成火灾逃生演练具有诸多优势，如成本低、代价小、可靠性高等，但仍有一定的局限性，为此，提出一种改进的双层深度Q网络（deep Q network，DQN）架构的路径规划算法。方法基于两个结构相同的双Q网络，优化了经验池的生成方法和探索策略，并在奖励中增加火灾这样的环境因素对智能体的影响。同时，为了提高疏散的安全性和效率，提出了一种基于改进的K-medoids算法的多智能体分组策略方法。结果相关实验表明提出的改进的双层深度Q网络架构收敛速度更快，学习更加稳定，模型性能得到有效提升。综合考虑火灾场景下智能体的疏散效率和疏散安全性，使用指标平均健康疏散值（average health evacuation value， AHEP）评估疏散效果，相较于传统的路径规划方法A-STAR（a star search algorithm）和DIJKSTRA（Dijkstra’s algorithm）分别提高了84%和104%；与基于火灾场景改进的扩展A-STAR和Dijkstra-ACO（Dijkstra and ant colony optimization）混合算法比较，分别提高了30%和21%；与考虑火灾影响的DQN算法相比，提高了20%，疏散效率和安全性都得到提高，规划的路径疏散效果更好。通过比较不同分组模式下的疏散效果，验证了对多智能体合适分组可以提高智能体疏散效率。结论提出的算法优于目前大多数常用的方法，显著提高了疏散的效率和安全性。