买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学;长三角哈特机器人产业技术研究院申请的专利一种基于大模型的展厅机器人视觉语言导航方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119309580B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411341616.5，技术领域涉及：G01C21/20；该发明授权一种基于大模型的展厅机器人视觉语言导航方法是由谢涛;王傲;安韬;李瑞峰;赵立军设计研发完成，并于2024-09-25向国家知识产权局提交的专利申请。

本一种基于大模型的展厅机器人视觉语言导航方法在说明书摘要公布了：一种基于大模型的展厅机器人视觉语言导航方法，属于展厅机器人领域，本发明为解决现有展厅机器人存在的问题。本发明方法：展厅机器人多模态场景感知系统：感知当前场景，利用RGB图像和激光点云的融合特征获得候选目标物体；提取场景中所有候选目标物体的图像特征；展厅机器人多模态环境理解系统：展厅机器人接受语音指令，并利用视觉语言多模态大模型理解出目标物体及用户意图，然后从系统中提取该目标物体文本的高维语义特征，从候选目标物体中找出目标物体；基于多模态大模型的展厅机器人智能导航系统：展厅机器人按照意图生成的位姿序列进行路径规划与自主移动，并根据展厅机器人多模态场景感知系统提供的实时变化的场景动态调整自身行为。

本发明授权一种基于大模型的展厅机器人视觉语言导航方法在权利要求书中公布了：1.一种基于大模型的展厅机器人视觉语言导航方法，其特征在于，该方法包括展厅机器人多模态场景感知系统、展厅机器人多模态环境理解系统和基于多模态大模型的展厅机器人智能导航系统； 展厅机器人多模态场景感知系统：感知当前场景，其中，利用相机采集RGB图像，利用雷达采集激光点云，然后利用RGB图像和激光点云的融合特征获得候选目标物体；同时提取场景中所有候选目标物体的图像特征，所述图像特征包括视觉特征和空间特征； 展厅机器人多模态环境理解系统：展厅机器人接受语音指令，并利用视觉语言多模态大模型理解出目标物体及用户意图，然后从系统中提取该目标物体文本的高维语义特征，将这些高维语义特征与展厅机器人多模态场景感知系统感知到的当前场景中各候选目标的图像特征进行对齐，从候选目标物体中找出目标物体； 基于多模态大模型的展厅机器人智能导航系统：根据展厅机器人多模态环境理解系统理解出的意图生成位姿序列，展厅机器人按照生成的位姿序列进行路径规划与自主移动，并根据展厅机器人多模态场景感知系统提供的实时变化的场景动态调整自身行为； RGB图像和激光点云的融合特征通过多分支异构多源特征融合模块获取，具体为： 利用相机采集RGB图像利用雷达采集激光点云N为点云的数量； S1、提取图像特征F和点云特征F ＝FeatExtraI，其中I为RGB图像，且H为图像的高度，W为图像的宽度；FeatExtraI为图像特征提取器； FP＝FeatExtraPP，其中P为激光点云，且N为点云的数量；FeatExtraP为点云特征提取器 S2、将图像特征FI和点云特征FP序列化； 序列化的图像特征SI：SI＝ImagetoSeqFI，其中，ImagetoSeq表示将将图像转换为序列； 序列化的点云特征SP：SP＝ImagetoSeqFP； S3、获取融合后的序列特征Fseq：Fseq＝SelfAttenCrossAttenSI,SP,CrossAttenSI,SP 其中，SelfAtten表示在序列间执行self-attentio操作，CrossAtten表示在序列间执行cross-attention操作； S4、获取RGB图像和激光点云的融合特征F：F＝SeqtoImageFseq，其中，SeqtoImage表示将序列转换为图像； 利用RGB图像和激光点云的融合特征获得候选目标物体采用检测物体占用概率预测网络实现，检测物体占用概率预测网络以融合特征F为输入，估计图像中每个像素及其对应点云被特定物体占用的概率，得到图像中的物体的语义标识与空间分布对应关系，生成候选目标物体，识别后为每个候选目标物体编码并分配唯一ID。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学;长三角哈特机器人产业技术研究院，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。