江苏科技大学张强获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江苏科技大学申请的专利基于视觉语言动作多模态对齐策略的机器人抓取检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119526405B 。
龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411757782.3,技术领域涉及:B25J9/16;该发明授权基于视觉语言动作多模态对齐策略的机器人抓取检测方法是由张强;朱建伟;孙雪莹;齐亮;叶树霞;张永韡;袁陈伟设计研发完成,并于2024-12-03向国家知识产权局提交的专利申请。
本基于视觉语言动作多模态对齐策略的机器人抓取检测方法在说明书摘要公布了:本发明属于机器人抓取控制技术领域,公开了一种基于视觉语言动作多模态对齐策略的机器人抓取检测方法,包括如下步骤:将自然语言指令输入大语言模型,生成物体类别、任务、抓取动作三类描述及注意力掩码;通过文本编码器对三类数据进行通道注意力优化,得到文本编码特征;输入物体的三维点云数据,生成点云编码特征;将点云数据输入候选抓取姿势编码模块,提取抓取姿势编码特征;通过交叉注意力模块实现多模态特征融合,得到融合特征;将融合特征输入策略模块,得到每个候选抓取动作的评估值;根据评估值,对所有候选抓取动作进行排序。本发明通过点云、语言文本和抓取姿势的对齐融合,解决了面向任务的机器人抓取多动作决策问题。
本发明授权基于视觉语言动作多模态对齐策略的机器人抓取检测方法在权利要求书中公布了:1.基于视觉语言动作多模态对齐策略的机器人抓取检测方法,其特征在于:包含如下步骤: S1、将自然语言指令输入预训练的大语言模型LLM进行解析,生成物体类别描述、任务描述和抓取描述三类描述,并将三类描述与自然语言指令一同输入预训练的BERT模型进行处理,得到高维的文本特征; S2、输入物体的三维点云数据,通过预训练的PointNet++点云编码器提取几何和结构特征,生成点云嵌入Fp; S3、将点云数据输入预训练的FGC-GraspNet模块,生成一组候选抓取姿势gi;将候选抓取姿势gi展开为动作特征Xg,并通过多层感知机MLP提取抓取特征Fg; S4、通过文本编码器模型对步骤S1得到的三类描述和自然语言指令进行通道注意力优化,得到语言文本特征Ftxt; S5、根据抓取特征Fg,采用多层感知机构成的模态对齐模块对点云特征Fp和语言文本特征Ftxt进行维度对齐操作,得到多模态特征; S6、根据交叉注意力机制,将动作特征Fg设置为查询Query,点云特征Fp设置为键Key,语言文本特征Ftxt设置为值Value,通过交叉注意力模块实现多模态特征的融合,得到融合特征Ffusion; S7、将步骤S6得到的融合特征Ffusion输入策略模块,通过多层感知机MLP提取抓取特征的重要信息,并通过Sigmoid激活函数得到每个候选抓取动作的评估值S; S8、根据步骤S7得到的每个候选抓取动作的评估值S,对所有候选抓取动作进行排序,输出排序后的动作列表,控制机器人执行最优抓取动作,若抓取失败则回退到次优动作。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江苏科技大学,其通讯地址为:212000 江苏省镇江市梦溪路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励