东华大学张朋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东华大学申请的专利一种基于多模态大模型的人机协作机械臂控制方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120552059B 。
龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510760598.2,技术领域涉及:B25J9/16;该发明授权一种基于多模态大模型的人机协作机械臂控制方法是由张朋;王德贤;张洁;李洪森;丁鹏飞设计研发完成,并于2025-06-09向国家知识产权局提交的专利申请。
本一种基于多模态大模型的人机协作机械臂控制方法在说明书摘要公布了:本发明提出一种基于多模态大模型的人机协作机械臂控制方法,通过结合装配场景视觉信息、文本指令信息以及prompt信息输入至多模态大模型进行理解和任务分解,生成具有不同功能校验位的操作指令和机械臂控制代码。通过多模态大模型或零部件知识库检索结合DINO‑X模型得到目标物体的像素区域及坐标,根据机械臂末端执行器坐标系与视觉系统坐标系之间的映射关系,转换为机械臂的位姿坐标生成机械臂控制指令,结合具有不同功能校验位的操作指令和机械臂控制代码控制机械臂运动,实现通过多模态大模型结合语音指令、视觉信息推理决策精确、高效地生成机械臂控制指令的同时,克服多模态大模型幻觉问题导致的泛化性差和精度低的问题。
本发明授权一种基于多模态大模型的人机协作机械臂控制方法在权利要求书中公布了:1.一种基于多模态大模型的人机协作机械臂控制方法,其特征在于,包括以下步骤: 接收用户关于装配任务相关的操作指令及描述等语音指令信息,并对语音指令信息进行语音特征识别,转换为文本指令信息; 结合装配场景视觉信息、文本指令信息以及prompt信息输入至多模态大模型进行理解和任务分解,生成具有不同功能校验位的操作指令和机械臂控制代码; 根据存储零部件图片信息、对应的名称信息以及人工标注的零部件在图片中的包围盒、四角像素坐标等零部件设计信息的零部件知识库,判断装配场景视觉信息和文本指令信息是否存在零部件设计信息,若不存在则认定为多模态大模型可以识别的常规物体则通过多模态大模型识别目标物体的包围盒坐标,并在包围盒坐标扩张后进行像素区域提取识别轮廓,修正边缘信息,重新计算目标物体像素坐标; 若存在则认定为非常规物体,根据存储零部件类别、形状特征和标准尺寸等零部件相关信息的知识库提取目标零部件的图片和标注像素坐标信息、结合装配场景视觉信息输入至DINO-X模型得到目标物体的像素区域及坐标; 将目标物体的像素区域及坐标形成目标位置的初步三维信息,确定机械臂末端执行器坐标系与视觉系统坐标系之间的映射关系,转换为机械臂的位姿坐标生成机械臂控制指令; 根据机械臂控制指令结合具有不同功能校验位的操作指令和机械臂控制代码控制机械臂运动。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东华大学,其通讯地址为:200051 上海市长宁区延安西路1882号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励