买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利一种基于群智能体深度强化学习的模块化机器人自重构方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116276959B 。

龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211677352.1，技术领域涉及：B25J9/16；该发明授权一种基于群智能体深度强化学习的模块化机器人自重构方法是由郭斌;徐若楠;王翰墨;郑世杰;刘思聪;於志文;梁韵基设计研发完成，并于2022-12-26向国家知识产权局提交的专利申请。

本一种基于群智能体深度强化学习的模块化机器人自重构方法在说明书摘要公布了：本发明公开了一种基于群智能体深度强化学习的模块化机器人自重构方法，首先对模块化机器人构型空间和运动空间进行建模，每个模块的位置可以用坐标x,y来表示。每个模块的上、下、左、右四个方向均可以与其他任意模块相互连接，自重构机器人的所有模块必须以该方式连接成为一个整体。然后对单一模块的运动空间进行建模，使其运动时能够得到其他模块支持并避免和其他模块发生碰撞或其他冲突。最后从群智能体深度强化学习的角度出发，将每个同构模块视为具有学习与感知能力的单智能体，提出基于QMIX的模块化机器人自重构算法。本发明能够实现智能体并行化移动，在一定程度上解决了多智能体之间的协调合作问题，从而实现了从初始构型向目标构型的转变。

本发明授权一种基于群智能体深度强化学习的模块化机器人自重构方法在权利要求书中公布了：1.一种基于群智能体深度强化学习的模块化机器人自重构方法，其特征在于，包括以下步骤： 步骤1：构建模块化机器人构型空间； 机器人的模块存在于笛卡尔平面，每个模块的位置用坐标x,y表示； 每个模块的上、下、左、右四个方向均能与其他任意模块相互连接，机器人的所有模块以该方式连接成为一个整体；机器人的各模块绝对位置和连接关系不同，形成了不同的构型； 在区分不同构型时，以模块的绝对坐标为准则，即不仅要求构型组成的形状相同，还要求机器人在二维平面中的所处位置相同；对于每一种构型的组成模块不作区分，即每个模块都是同构的； 步骤2：构建模块化机器人动作空间； 每一个模块的形状为圆形，以绕边旋转的方式进行移动；每个模块都能向周围八个方向进行移动或保持不动，形成一个大小为9的动作空间，即如果模块的位置在x,y，移动后模块的位置是x,y-1、x,y+1、x-1,y、x+1,y、x-1,y-1、x-1,y+1、x+1,y-1、x+1,y+1或者x,y； 步骤3：基于模块重合度的奖励函数； 定义了奖励函数： 其中OT+1表示第T时间步的当前构型经过一步扩展出的新构型与目标构型的重合度，OT表示在第T时间步的当前构型与目标构型的重合度，Nagent表示智能体的数量，O0表示起始构型与目标构型的重合度； 步骤4：基于群智能体深度强化学习的模块化机器人自重构实现； 步骤4-1：初始化； 根据智能体和环境的交互获取智能体观测oi，获取智能体行为avail_acti，依据智能体观测oi与QMIX网络得到价值函数q_value，以1-ε的概率选择动作acti＝argmaxiq_value，否则在可选择动作avail_acti中随机选取动作acti，将动作acti加入at中； 利用动作向量at并行化更新智能体状态环境，并根据奖励函数得到奖励rt，同时进入下一状态st+1，并将所有智能体的状态转移对存储到经验池中；对每一个智能体筛选合法的动作，加入avail_acti列表，进行重合判断，并修改avail_acti，将avail_acti加入avail_actionst+1； 步骤4-2：判断构型是否和目标构型重合，从而更新网络参数； 步骤4-3：QMIX的损失函数用于反向传播修正网络参数，表示为： 其中h为从经验回放池中采样数量；表示目标构型所代表的奖励，Qtots,a,τ；θ表示基于QMIX的构型重构方法得到的构型奖励； 更新过程利用下式完成： 其中是目标网络，r表示奖励函数，γ表示折扣因子，表示目标网络得到的奖励； 步骤5：得到目标网络后，根据目标构型实现构型变换。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。