中山大学丘昌镇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中山大学申请的专利基于深度强化学习的无人机集群任务规划方法和装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116301022B 。
龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310006846.5,技术领域涉及:G05D1/46;该发明授权基于深度强化学习的无人机集群任务规划方法和装置是由丘昌镇;刘紫薇;张志勇;徐雪阳设计研发完成,并于2023-01-04向国家知识产权局提交的专利申请。
本基于深度强化学习的无人机集群任务规划方法和装置在说明书摘要公布了:本申请提供基于深度强化学习的无人机集群任务规划方法和装置,包括:在集群中任意选取一个无人机作为第一无人机,其他无人机作为第二无人机,第二无人机组成剩余无人机集群;获取第一无人机的实际任务执行环境和无人机集群任务规划模型;将实际任务执行环境输入至无人机集群任务规划模型,得到无人机集群的任务规划;其中,无人机集群任务规划模型是以模拟任务执行环境为训练样本对改进的MADDPG模型进行学习训练得到;改进的MADDPG模型包括MADDPG网络和平均场论模块,平均场论模块设置在MADDPG网络中。通过上述方法,无人机能够在动作过程中获知全局的环境变换,在未知动态环境中引导无人机集群做出最优的任务规划。
本发明授权基于深度强化学习的无人机集群任务规划方法和装置在权利要求书中公布了:1.一种基于深度强化学习的无人机集群任务规划方法,其特征在于,该方法包括: 在无人机集群中任意选取一个无人机作为第一无人机,其他无人机作为第二无人机,所述第二无人机组成剩余无人机集群; 获取第一无人机的实际任务执行环境和无人机集群任务规划模型; 将所述实际任务执行环境输入至无人机集群任务规划模型,得到无人机集群的任务规划; 其中,所述无人机集群任务规划模型是以模拟任务执行环境为训练样本对改进的MADDPG模型进行学习训练得到;所述改进的MADDPG模型包括MADDPG网络和平均场论模块,其中所述平均场论模块设置在所述MADDPG网络中; 所述改进的MADDPG模型包括依次连接的策略网络和评价网络,其中所述平均场论模块嵌套设置在所述评价网络中; 建立所述无人机集群任务规划模型包括: 获取训练样本,所述训练样本包括当前时刻无人机集群的模拟状态空间、下一时刻无人机集群的模拟状态空间、无人机集群中所有无人机的模拟奖励、无人机集群中所有无人机的模拟动作向量以及无人机集群中剩余无人机集群的平均动作向量; 将所述当前时刻无人机集群中第一无人机的模拟局部状态输入至策略网络,得到当前时刻第一无人机的模拟中间动作向量; 将所述当前时刻第一无人机的模拟中间动作向量与噪音向量进行叠加,得到当前时刻第一无人机的模拟动作向量; 将当前时刻无人机集群中各个第二无人机的模拟局部状态和各个第二无人机的模拟动作向量分别输入平均场论模块,得到当前时刻剩余无人机集群的模拟局部状态平均值和剩余无人机集群的模拟平均动作向量; 将当前时刻第一无人机的模拟局部状态和当前时刻剩余无人机集群的模拟局部状态平均值合并得到当前时刻无人机集群的模拟状态空间; 将当前时刻无人机集群中各个无人机的模拟动作向量与模拟任务执行环境进行交互,得到当前时刻无人机集群中各个无人机的模拟奖励和下一时刻无人机集群中各个无人机的模拟局部状态; 将所述下一时刻第一无人机的模拟局部状态输入至策略网络,得到下一时刻第一无人机的模拟中间动作向量; 将所述下一时刻第一无人机的模拟中间动作向量与噪音向量进行叠加,得到下一时刻第一无人机的模拟动作向量; 将下一时刻无人机集群中各个第二无人机的模拟局部状态和下一时刻无人机集群中各个第二无人机的模拟动作向量分别输入平均场论,得到下一时刻剩余无人机集群的模拟局部状态平均值和剩余无人机集群的模拟平均动作向量; 将下一时刻第一无人机的模拟局部状态和下一时刻剩余无人机集群的模拟局部状态平均值合并得到下一时刻无人机集群的模拟状态空间; 将下一时刻无人机集群的模拟状态空间、下一时刻第一无人机的模拟动作向量和下一时刻剩余无人机集群的模拟平均动作向量输入至评价网络后,叠加所述当前时刻无人机集群中第一无人机的模拟奖励,得到评价网络的评估值; 将所述当前时刻无人机集群的模拟状态空间、当前时刻第一无人机的模拟动作向量和当前时刻剩余无人机集群的模拟平均动作向量,输入至评价网络得到当前时刻评价网络的动作值; 根据所述评价网络的评估值和所述当前时刻评价网络的动作值,得到评价网络的损失函数; 通过所述损失函数得到评价网络参数; 根据所述评价网络参数更新策略网络梯度,得到策略网络参数; 将所述策略网络参数按比例系数进行更新,按更新后的策略网络系数更新策略网络和评价网络,直至达到更新次数,以得到无人机集群任务规划模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中山大学,其通讯地址为:510275 广东省广州市新港西路135号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。