买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利基于选择性状态空间与有模型强化学习的机械臂操控方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118721208B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411023330.2，技术领域涉及：B25J9/16；该发明授权基于选择性状态空间与有模型强化学习的机械臂操控方法是由王钢;王润青;张鑫宏;孙健;邓方;陈杰设计研发完成，并于2024-07-29向国家知识产权局提交的专利申请。

本基于选择性状态空间与有模型强化学习的机械臂操控方法在说明书摘要公布了：本发明提供一种基于选择性状态空间与有模型强化学习的机械臂操控方法，首先根据真实环境构建世界模型，世界模型处理第三人称视角下的高维视觉图像，提取图像特征并整合序列状态‑动作信息，机械臂模型再根据世界模型提取的特征信息进行决策与学习，能在较低的交互次数下最大化样本效率，仅利用较少的计算资源就可以让机械臂学习到物品抓取方法，能够提升有模型强化学习算法在不同任务场景中的泛用性，降低训练成本和在实际环境中的部署难度，提升计算效率。

本发明授权基于选择性状态空间与有模型强化学习的机械臂操控方法在权利要求书中公布了：1.一种基于选择性状态空间与有模型强化学习的机械臂操控方法，其特征在于，包括以下步骤： S1：根据真实环境构建世界模型，所述世界模型包括观测编码器qφzt|ot、图像解码器动作信息混合器mφzt,at、序列模型fφe1:T,x0、动态预测器奖励预测器终止预测器 根据真实环境构建世界模型具体如下： S11：由固定的图像传感器实时捕捉真实环境的RGB图像，得到当前时刻t的环境观测数据ot； S12：由观测编码器qφzt|ot对环境观测数据ot依次进行降维和随机采样，得到的随机变量采用独热编码表示为隐空间随机变量zt； S13：由图像解码器对隐空间随机变量zt进行反卷积，得到重建后的环境观测数据 S14：将隐空间随机变量zt和机械臂模型在环境观测数据ot下的动作at拼接，由多层感知机构成的动作信息混合器mφzt,at将拼接得到的数据映射为状态et； S15：基于Mamba架构的序列模型fφe1:T,x0以状态et和上一时刻的中间向量xt-1作为输入，输出当前时刻t的循环状态ht和中间向量xt； S16：由动态预测器接收循环状态ht，输出下一个时刻的隐空间随机变量 S17：由奖励预测器接收循环状态ht和隐空间随机变量输出当前时刻t的奖励 S18：由终止预测器接收循环状态ht和隐空间随机变量输出当前时刻t的终止信号预测值 S19：根据环境观测数据奖励终止信号预测值构建损失函数，判断当前时刻t的损失函数是否小于设定值，若为是，得到最终的世界模型，若为否，进入步骤S110； S110：调整观测编码器qφzt|ot、图像解码器动作信息混合器mφzt,at、序列模型fφe1:T,x0、动态预测器奖励预测器终止预测器的参数，然后重新执行步骤S11～S19，直到损失函数小于设定值； S2：将机械臂模型与世界模型进行交互，得到机械臂模型在不同环境观测下的动作序列，具体为： S21：将连续8个时间步的历史环境观测数据o0～o7、机械臂在环境观测数据o0～o7下执行的历史动作a0～a7输入到世界模型中，得到初始化中间向量x0、循环状态h0与隐空间随机变量z1； S22：世界模型将h0与z1传递给机械臂模型，机械臂模型输出决策动作 S23：动作信息混合器将z1与拼接，映射为e1，序列模型以e1和x0为输入，输出当前时间步的循环状态h1和中间向量x1； S24：将h1输入到动态预测器，将h1映射到1024维的回归向量Logits； S25：将所述回归向量Logits分为32组32维向量进行激活函数softmax运算，输出32组先验分布； S26：对32组先验分布进行随机采样，并使用独热编码表示采样结果，然后将32组采用独热编码表示的采样结果按序拼接回1024维，得到由动态预测器预测的下一时间步的隐空间随机变量 S27：将h1、传递给奖励预测器、终止预测器，得到预测的奖励和终止信号预测值 S28：重复执行步骤S22～S27，直到得到T组轨迹数据，其中，T组轨迹数据包括循环状态h0:T-1，预测的隐空间随机变量预测的奖励预测的终止信号预测值 S3：利用不同环境观测下的动作序列对机械臂模型进行训练； S4：利用训练好的机械臂模型控制机械臂在不同真实环境下做出对应的动作，实现机械臂的操控。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。