买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京科技大学申请的专利基于分层强化学习的空间机械臂操作技能学习方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119188751B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411395697.7，技术领域涉及：B25J9/16；该发明授权基于分层强化学习的空间机械臂操作技能学习方法及装置是由马超;周成设计研发完成，并于2024-10-08向国家知识产权局提交的专利申请。

本基于分层强化学习的空间机械臂操作技能学习方法及装置在说明书摘要公布了：本发明涉及机械臂智能操作技术领域，特别是指一种基于分层强化学习的空间机械臂操作技能学习方法及装置。所述方法包括：基于改进HER的低层强化学习算法，解决稀疏奖励和收敛速度问题，使得网络梯度下降的时候速率更快，提高训练效率和机械臂在靠近目标物体附近时产生的抖动问题。对序列任务进行分层设计，储存进下层网络，为上层网络训练提供支持，将其应用于分层强化学习算法，设计Option‑HER算法，可将完整的序列技能任务进行分解并排序，得到机械臂有序的时间序列任务规划与操作，有效解决了机械臂无法应对空间在轨任务中的自主操作，且中间存在多步序列性作业的场景情况。

本发明授权基于分层强化学习的空间机械臂操作技能学习方法及装置在权利要求书中公布了：1.一种基于分层强化学习的空间机械臂操作技能学习方法，其特征在于，所述方法包括： S1、基于视觉感知系统获取任务中被操作物体的位置信息，以及机械臂末端位置信息，基于所述被操作物体的位置信息和机械臂末端位置信息设计奖励函数； 所述S1中的基于视觉感知系统获取任务中被操作物体的位置信息，以及机械臂末端位置信息，基于所述被操作物体的位置信息和机械臂末端位置信息设计奖励函数，包括： 基于视觉感知系统获取任务中被操作物体的位置信息，以及机械臂末端位置信息； 获取空间机械臂的操作任务环境，获取任务环境中被操作物体的目标点位置x,y,z，对所述目标点位置进行坐标系映射，获得任务目标位置； 根据所述目标点位置和机械臂位置初使始化仿真环境，搭建分层强化学习系统并进行训练； 根据任务要求和环境分析，设计如下述公式1的奖励函数： 1 其中，表示一个回合的总奖励；表示对距离的惩罚；表示碰撞惩罚，表示机械臂关节越界惩罚，表示时间惩罚，为达成目标获得的奖励，为靠近目标得到奖; S2、基于所述奖励函数，结合HER设计低层改进算法； 所述S2中的基于所述奖励函数，结合HER设计低层改进算法，包括： 基于所述目标位置，定义如下述公式2的状态空间： 2 其中，表示机械臂爪子末端中心到目标的相对位置，表示机械臂爪子末端中心到目标的距离，Stran表示机械臂六关节的旋转坐标，表示机械臂爪子开合的参数，表示目标位置； 使用加入事后经验回放的DDPG算法作为其低层算法，将HER稀疏奖励中加有引导的奖励重塑算法，计算真实奖励和事后奖励; S3、将低层改进算法和分层强化学习Option结构结合，获得可进行时序选择的强化学习算法，进行复杂技能的单元任务动作分解； S4、构建高层决策的示教机制，基于示教方式保存的数据对可进行时序选择的强化学习算法进行训练，完成基于分层强化学习的空间机械臂操作技能学习。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京科技大学，其通讯地址为：100083 北京市海淀区学院路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。