LLM-GDSAC: Large language model enhanced diffusion reinforcement learning for ship path-following control

随着智能船舶向人机共驾方向发展，如何将驾驶员的模糊意图高效映射为精确控制指令成为关键挑战。针对现有路径跟踪控制系统交互灵活性差，以及大语言模型（Large Language Model, LLM）难以直接适配大惯性、长时滞、高非线性船舶运动控制等问题，本文提出一种融合大语言模型认知推理与深度强化学习高精度控制能力的分层控制框架（LLM-GDSAC）。首先提出专家演示-逆向认知推理的数据生成范式，构建包含可解释思维链的高质量微调数据集，赋予LLM对船舶运动状态与操控逻辑的深度理解能力；其次利用微调后LLM将非结构化的自然语言指令转化为对底层控制器的虚拟制导偏差，实现从指令跟随到意图控制的跨越；最后构建生成扩散演员评论家（Generative Diffusion Soft Actor-Critic, GDSAC）船舶路径跟踪控制器，将控制策略生成建模为逆向去噪过程，攻克传统高斯策略在欠驱动船舶耦合动作空间中探索低效的难题，确保在环境干扰及LLM指令引导下实现高精度路径跟踪控制。基于对话交互式仿真平台的实验结果表明，本文提出的GDSAC相比SAC平均跟踪控制精度提升18.6%；引入LLM后，LLM-GDSAC能在准确理解复杂语言指令的同时，控制精度较GDSAC提升27.8%，航向控制精度提升8.3%，为构建适应智能船舶人机共驾系统提供了新的技术路径。