买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川轻化工大学申请的专利一种基于改进强化学习的六足机器人路径规划方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118089733B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410237043.5，技术领域涉及：G01C21/20；该发明授权一种基于改进强化学习的六足机器人路径规划方法是由王琦标;陈刘鸿旭;谢波;邓超;杨剑波;庹先国设计研发完成，并于2024-03-01向国家知识产权局提交的专利申请。

本一种基于改进强化学习的六足机器人路径规划方法在说明书摘要公布了：本发明公开了一种基于改进强化学习的六足机器人路径规划方法，包括马尔可夫过程、神经网络构建、全局信息获取、探索率调整、动作选择改进、经验池管理、训练步数判断及目标神经网络更新等步骤。通过本发明，能够有效提高强化学习算法中经验池数据积累的效率，缩短六足机器人在多维环境中的跨平面规划决策时间。采用粒子群算法替代原有策略，使得机器人动作选择更具目的性，进而增加了经验池中有效数据的数量。相比现有技术，本发明具有更高的路径规划效率和更强的动作选择能力，可广泛应用于六足机器人领域。

本发明授权一种基于改进强化学习的六足机器人路径规划方法在权利要求书中公布了：1.一种基于改进强化学习的六足机器人路径规划方法，其特征在于，包括以下步骤： S1：在一个马尔可夫过程中包含智能体、状态集、动作集，状态集中包含智能体在环境中的位置；动作集包含每个状态集中可以执行的动作，构建结构相同的本地神经网络和目标神经网络； S2：将本地神经网络中的参数更新给目标神经网络，使两个神经网络的初始参数相同； S3：运行中的六足机器人获取包括场景布局、自身位置、目标位置、运行状态的全局信息， S4：初始化探索率，探索率的值随着整个算法的迭代次数逐步减少； S5：将动作选择进行改进，根据本地策略神经网络进行选择动作，将执行的动作放在环境中进行观察下一个状态，观察到的状态更新四个环境矩阵；利用在经验池中的积累，对地图数据进行构造、更新粒子的速度和位置、更新全局最佳位置，最后将规划好的路线点提取当前六足机器人所在位置点的下一个模糊点，选择该模糊点方向动作，执行动作后，观察状态是否有障碍物，如果有标定坐标，并惩罚奖励，更新状态矩阵和地图数据，反之更新矩阵和地图数据； 动作选择改进如下式： P是每轮随机生成0到1之间的带有8位小数点的数字，A表示粒子群算法所引导动作； 如果P大于等于K：根据本地神经网络Q进行选择动作，将执行的动作放在环境中进行观察下一个状态st+1，观察到的状态更新四个环境矩阵； 如果P小于K： a所述对地图数据进行构造、初始化粒子群的位置和速度：对于每个粒子i，随机初始化其位置向量Xi和速度向量Vi；初始化每个粒子的个体最佳位置Pi，初始时与其当前位置Xi相同；初始时选择与当前六足机器人位置距离最近的粒子的位置Pi相同，初始化全局最佳位置G；其中对于G的选择采用需要与最终目标点进行角度和距离结合筛选，首先求出每个粒子与最终目标点的角度与距离，公式如下： xi,yi表示的是框选地图数据中的初始化粒子坐标，xg,yg表示全局地图目标坐标，d表示为距离，ag表示粒子与目标之间的角度； 再对其进行范围筛选确定全局最佳位置G,筛选公式如下： Crand表示的是以随机地图边界粒子坐标为圆心所包含的粒子坐标合集； b更新粒子的速度和位置：对于每个粒子i，更新速度向量： Vit+1＝ω*Vit+c1*rand*Pi-Xi+c2*rand*G-Xi4 其中，Vit是粒子i在时刻t的速度，ω是惯性权重，c1和c2是学习因子，rand是随机数生成函数；更新位置向量： Xit+1＝Xit+Vit+15 评估新位置Xit+1的适应度；更新个体最佳位置：如果适应度Xit+1适应度Pi，则更新Pi＝Xit+1； c：更新全局最佳位置：对于每个粒子i，如果适应度Pi适应度G，则更新G＝Pi； d：重复步骤S2和步骤S3，直到满足停止条件；最后将规划好的路线点提取当前六足机器人所在位置点的下一个模糊点，选择该点方向动作，执行动作后，观察状态是否有障碍物，如果有标定坐标，并惩罚奖励rcrash，更新状态矩阵和地图数据，反正更新矩阵和地图数据； S6：将所得状态矩阵存入经验池，当经验池到达指定存储数据上限时将删除指定数量的老旧数据删除； S7：判断是否达到最大训练步数，如果达到，则进入下一轮训练，直至完成所有训练周期，否之进行下一步骤； S8：检查是否达到指定步数更新目标神经网络，如果达到更新，则得到改进强化学习算法，用于路径规划。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川轻化工大学，其通讯地址为：643000 四川省自贡市汇东学苑街180号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。