买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利面向多智能体状态时滞系统的简化强化学习编队控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116027790B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310073781.6，技术领域涉及：G05D1/43；该发明授权面向多智能体状态时滞系统的简化强化学习编队控制方法是由黄捷设计研发完成，并于2023-01-19向国家知识产权局提交的专利申请。

本面向多智能体状态时滞系统的简化强化学习编队控制方法在说明书摘要公布了：本发明涉及一种面向多智能体状态时滞系统的简化强化学习编队控制方法，包括如下步骤：通过图论构建多智能体系统中的通讯拓扑结构；针对多智能体系统中存在的状态时滞信息，构建相关的假设条件进行约束；构建每个跟随者智能体与领航者智能体的跟踪误差以及跟随者智能体之间的误差，并构建编队误差；利用最优控制理论思想，建立代价函数与值函数，求解HJB方程得到最优控制器的表达形式；应用简化的强化学习算法结合模糊逻辑系统重新构建最优控制器；根据最优控制器，结合李雅普诺夫‑克拉索夫斯基泛函构建用于抵消多智能体系统存在的状态时滞的项并引入最优控制器。该方法可以减少计算量，并保证多智能体状态时滞系统的编队控制顺利执行。

本发明授权面向多智能体状态时滞系统的简化强化学习编队控制方法在权利要求书中公布了：1.一种面向多智能体状态时滞系统的简化强化学习编队控制方法，其特征在于，包括如下步骤： 步骤一：通过图论构建多智能体系统中的通讯拓扑结构； 步骤二：针对多智能体系统中存在的状态时滞信息，构建相关的假设条件进行约束； 步骤三：根据步骤一和步骤二，得到每个智能体的位置信息并构建每个跟随者智能体与领航者智能体的跟踪误差以及跟随者智能体之间的误差，并根据跟踪误差和智能体之间的误差构建编队误差； 步骤四：利用最优控制理论思想，建立代价函数与值函数，并根据所得值函数求得HJB方程，并求解HJB方程得到最优控制器的表达形式； 步骤五：针对得到的最优控制器表达形式反代回HJB方程难以求解的问题，应用简化的强化学习算法结合模糊逻辑系统重新构建最优控制器； 步骤六：根据步骤五建立的最优控制器，结合李雅普诺夫-克拉索夫斯基泛函构建用于抵消多智能体系统存在的状态时滞的项并引入最优控制器； 所述多智能体状态时滞系统的具体形式为： 式中，xit为第i个多智能体的位置信息；uit为第i个智能体的控制输入；pi·和gi·为具有不确定性的光滑向量非线性函数；τi为未知的时间延迟； 构建如下的假设条件： 假设一：针对未知的时间延迟τi，存在有一个已知的正常数τmax，满足条件τi≤τmax； 假设二：针对项gixit，存在有光滑向量函数满足条件 跟踪误差表示如下： 其中，x0t代表领航者的移动轨迹；为第i个智能体与领航者之间的相对位置，用于表示多智能体的编队形状； 编队误差表示如下： 其中，Mi代表第i个多智能体的邻居集；aij代表邻接矩阵的第i行第j列的元素；bi代表第i个智能体和领航者的连接权重； 所建立的值函数表达形式如下： 其中，rw，u＝wTw+uTu表示代价函数； 根据所建立的值函数和代价函数，计算得到分布式哈密顿-雅可比-贝尔曼方程，即HJB方程的表达形式为： 通过所得到的HJB方程，求解得到最优控制器的表达形式为： 针对得到的最优控制器表达形式反代回HJB方程难以求解的问题，应用简化的强化学习算法结合模糊逻辑系统重新构建最优控制器，具体为： 针对梯度项进行分离，分离后的具体表达形式如下： 根据所得到的梯度项具体表达形式，结合最优控制器的表达形式，将最优控制器表达式重新表达为： 其中，kit为一个设计函数；且 得到梯度项和最优控制器的表达形式后，应用演员-评论家强化学习方法和模糊逻辑系统对其进行估计，得到估计的表达式为： 其中，表示估计的最优参数矩阵，代表模糊基函数向量，和用于近似多智能体系统的未知非线性项pixi；和分别表示评论家和演员网络的估计参数矩阵，在最优控制器中进行编队控制，用于评价演员网络的控制行为并将评估的结果反馈给演员； 演员和评论家网络的更新律具体形式如下： 其中，kci0和kai0分别为评论家网络和演员网络的学习率； 针对最优控制器表达形式中存在的正函数项kit，结合李雅普诺夫-克拉索夫斯基泛函得到具体的表达形式； 在李雅普诺夫稳定性证明中，引入李雅普诺夫-克拉索夫斯基泛函设计函数： 通过该设计函数，结合李雅普诺夫稳定性证明，得到在最优控制器里用于抵消多智能体系统状态时滞的正函数项kit的具体表达形式如下所示： kit＝ki0+ki1t,ki02

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。