买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学广州研究院;西安电子科技大学;深圳瑞德林生物技术有限公司申请的专利基于深度确定性策略梯度的机械臂路径规划方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116494247B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310703629.1，技术领域涉及：B25J9/16；该发明授权基于深度确定性策略梯度的机械臂路径规划方法及系统是由安玲玲;谢振;万波;张慧锋;罗贤涛设计研发完成，并于2023-06-14向国家知识产权局提交的专利申请。

本基于深度确定性策略梯度的机械臂路径规划方法及系统在说明书摘要公布了：本发明公开了基于深度确定性策略梯度的机械臂路径规划方法及系统，该方法包括：构建机械臂多任务运动模型、深度确定性策略梯度算法网络模型、机械臂的末端循迹的分层奖励函数和经验样本池；基于分层奖励函数和经验样本的权重对深度确定性策略梯度算法网络模型进行训练，获取训练后的深度确定性策略梯度算法网络模型；将训练后的深度确定性策略梯度算法网络模型部署至机械臂多任务运动模型，对机械臂进行路径规划。通过使用本发明，能够提高机械臂训练样本的利用率和训练速度。本发明作为基于深度确定性策略梯度的机械臂路径规划方法及系统，可广泛应用于机器人机械臂路径规划技术领域。

本发明授权基于深度确定性策略梯度的机械臂路径规划方法及系统在权利要求书中公布了：1.基于深度确定性策略梯度的机械臂路径规划方法，其特征在于，包括以下步骤： 考虑机械臂的三维空间运动特点，构建机械臂多任务运动模型，所述机械臂多任务运动包括机械臂的末端循迹、机械臂的推动和机械臂的抓取； 基于Actor-Critic网络结构，建立深度确定性策略梯度算法网络模型； 引入预设奖励规则，构建用于机械臂的末端循迹的分层奖励函数； 引入优先经验回放机制，积累经验样本池，获取经验样本的权重； 基于分层奖励函数和经验样本的权重对深度确定性策略梯度算法网络模型进行训练，获取训练后的深度确定性策略梯度算法网络模型； 将训练后的深度确定性策略梯度算法网络模型部署至机械臂多任务运动模型，对机械臂进行路径规划； 所述基于Actor-Critic网络结构，建立深度确定性策略梯度算法网络模型这一步骤，其具体包括： 所述深度确定性策略梯度算法网络模型通过最大累计奖励值进行更新确定性策略参数，并输出机械臂动作空间的概率，所述深度确定性策略梯度算法网络模型包括主网络和目标网络，所述主网络包括Actor网络和Critic网络，所述目标网络包括TargetActor网络和TargetCritic网络； 所述Actor网络采用确定性策略，给定输入状态，对输入状态进行求积分，输出一个确定的动作信息，并将确定性策略梯度函数作为更新Actor网络参数方法； 所述Critic网络为评价网络，用于计算Q值，以评价Actor网络所采用策略的好坏，并将状态-动作值函数作为更新Critic网络参数方法； 所述目标网络用于计算目标Q值，并辅助更新主网络的参数； 所述引入优先经验回放机制，积累经验样本池这一步骤，其具体包括： 观测当前机械臂的状态，并输入至Actor网络得到对应的机械臂动作输出结果，将机械臂动作输出结果存储至经验样本池； 机械臂多任务运动模型执行机械臂动作输出结果，更新机械臂的状态得到下一时刻机械臂的观测状态，并计算得到对应的奖励值； 将当前机械臂的状态和机械臂动作输出结果输入至Critic网络，获取Q估计值； 将下一时刻机械臂的观测状态输入至TargetActor网络，获取下一时刻机械臂的动作输出结果； 将下一时刻机械臂的观测状态和下一时刻机械臂的动作输出结果输入至TargetCritic网络，获取Q目标值； 对Q估计值和Q目标值进行作差计算处理，获取TD-error值，其中，TD-error值越大代表经验学习的潜力越大，其优先级越高； 循环上述主网络与目标网络的执行步骤，积累经验样本池，并将TD-error值设定为对应经验样本的权重，所述经验样本池存放的数据形式为五元组，其中，表示当前机械臂的观测状态，表示当前机械臂动作输出结果，表示当前对应的奖励值，表示下一时刻机械臂的观测状态，表示任务完成情况； 所述TD-error的计算表达式为： 上式中，表示时刻累积奖励值，表示TD-target时序差分目标，表示时刻的时间差分误差，表示折扣因子，用于平衡当前和未来奖励的重要性，表示当前状态的值函数估计值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学广州研究院;西安电子科技大学;深圳瑞德林生物技术有限公司，其通讯地址为：510000 广东省广州市黄埔区中新知识城海丝中心B5、B6、B7栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。