买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利面向移动平台基于专家经验的DDPG无人机降落方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115033022B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210742166.5，技术领域涉及：G05D1/46；该发明授权面向移动平台基于专家经验的DDPG无人机降落方法是由张平;罗黎明设计研发完成，并于2022-06-28向国家知识产权局提交的专利申请。

本面向移动平台基于专家经验的DDPG无人机降落方法在说明书摘要公布了：本发明公开的面向移动平台基于专家经验的DDPG无人机降落方法，包括：对任务分解；在仿真环境中搭建降落场景；初始化环境状态；初始化算法神经网络等超参数；设计用于训练所设计的深度强化学习神经网络的无人机着陆的降落函数；基于搭建有无人机着陆场景的仿真环境，对所设计的深度强化学习神经网络进行训练，训练过程中采用专家经验进行指导无人机。本发明能够加快算法的收敛速度，极大的解决深度强化学习前期采样效率低下的问题。

本发明授权面向移动平台基于专家经验的DDPG无人机降落方法在权利要求书中公布了：1.面向移动平台基于专家经验的DDPG无人机降落方法，其特征在于，包括以下步骤： 步骤1、构建无人机移动平台降落的马尔科夫模型； 步骤2、构建DDPG算法中的神经网络； 步骤3、无人机和目标状态更新； 步骤4、在仿真模拟器中构建无人机着陆场景，使用基于专家经验的确定性策略梯度方法训练无人机面向移动平台进行降落，包括以下步骤： 步骤4-1、设定最大训练回合数E，每回合最大步数S，设定经验池大小M，设定目标神经网络的更新比例系数τ，设定神经网络的学习率l，设定折扣因子为γ，初始化网络参数； 步骤4-2、初始化状态空间S，初始化仿真环境； 步骤4-3、当无人机训练步数小于sdirect_by_expert时，根据专家算法，在当前状态st，选择无人机的动作： at＝aexpert+M 其中aexpert是根据专家算法基于时刻t的状态计算出得到的速度，M为高斯噪声向量； 当无人机训练步数大于等于sdirect_by_expert时，根据策略网络，在当前状态st，选择无人机的动作： at＝μdst|θμ+M 其中μd·代表确定性策略函数，M为高斯噪声向量；θμ表示无人机当前策略网络； 步骤4-4、无人机根据与目标移动平台的之间的相对距离而执行动作at，由奖励函数计算出t时刻的奖励值rt，再由步骤3得到下一时刻状态st+1，然后将四元组st，at，rt，st+1存入经验池中； 步骤4-5、当无人机训练步数小于sdirect_by_expert时，从经验池随机抽取小批量样本B学习，计算损失函数，根据最小损失函数更新策网络，策略网络的学习过程表示为： LA表示Actor损失函数，N表示用于更新t时刻的策略网络的样本数量，aexpert是专家根据时刻t状态st计算处的动作，μst|θμ是时刻t策略网络在参数θμ计算出来动作，再根据最小化损失函数做梯度下降更新策略网络参数θμ； 当无人机训练步数大于等于sdirect_by_expert时，从经验池随机抽取小批量样本B学习，其学习过程表示为： yt＝rt+γQ′st+1，μ′st+1|θμ′|θQ′ 其中yt表示目标网络，rt为t时刻的奖励值，θμ′和θQ′分别表示目标评价网络和目标策略网络的参数，Q′表示在st+1时刻采取μ′得到的状态-行为值；γ表示折扣因子、μ′表示目标策略网络； 步骤4-6、根据最小损失函数更新策略网络： LC表示critic损失函数，N表示用于更新网络的样本数量，at表示t时刻无人机所做的动作，θQ表示评价网络； 步骤4-7、更新策略梯度： 其中，表示在策略网络参数θμ下的策略梯度，和分别表示评价网络状态-行为值函数梯度和策略网络策略函数梯度，μst表示在策略网络状态st时选取的动作策略，和分别表示状态st下采取动作a＝μst时评价网络的状态-行为值和该状态下策略网络的行为值； 步骤4-8、按照下列公式对目标评价网络和目标策略网络的权重进行更新： 其中，τ为软更新比例系数； 步骤4-9、对迭代步长k执行k＝k+1并进行判定，若kS,则执行t＝t+Δt并返回至步骤4-3，否则进入步骤4-10； 步骤4-10、对回合数e进行判定，若eE，则返回至步骤4-2；若e≥E，则保存该训练过程中最好的网络模型参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。