中科(深圳)无线半导体有限公司赵柏聿获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中科(深圳)无线半导体有限公司申请的专利一种基于视觉与文本常识增强的具身智能体室内导航方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120297427B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510787869.3,技术领域涉及:G06N5/04;该发明授权一种基于视觉与文本常识增强的具身智能体室内导航方法是由赵柏聿;高放;唐镜峰;麻胜恒设计研发完成,并于2025-06-13向国家知识产权局提交的专利申请。
本一种基于视觉与文本常识增强的具身智能体室内导航方法在说明书摘要公布了:本发明公开了一种基于视觉与文本常识增强的具身智能体室内导航方法,包括借助ChatGPT和BLIP‑2来提供环境常识性信息;借助StableDiffusion生成常识性的视觉图像;通过视觉编码器和文本编码器分别提取视觉特征和文本特征;通过拓扑映射构建拓扑图特征;通过文本常识布局学习模块和视觉常识布局学习模块,分别从语言和视觉两个维度帮助VLN代理学习环境常识;将学习常识后的文本特征与学习常识后的视觉‑拓扑特征融合得到多模态融合特征,并作为分类回归头的输入进行动作预测;最后执行在线导航,加载训练模型测试导航效果。本发明通过文本和视觉常识中包含的房间类型和房间类型中常见物体等语义和视觉信息,增强视觉特征的表达能力,提高了导航精度和鲁棒性。
本发明授权一种基于视觉与文本常识增强的具身智能体室内导航方法在权利要求书中公布了:1.一种基于视觉与文本常识增强的具身智能体室内导航方法,其特征在于,包括以下步骤: S10、基于Matterport3D模拟器生成的室内环境的全景图,利用BLIP-2模型和ChatGPT模型来提供环境常识性信息,其中BLIP-2模型用于解析每个全景图所对应的房间类型,ChatGPT模型用于推理并提供每种房间类型中的地标常识; S20、利用StableDiffusion模型根据房间类型和地标常识,生成房间类型中带有地标常识的常识性视觉图像; S30、从Matterport3D模拟器中获取全景图和指令数据集; S40、通过视觉编码器从全景图中提取视图的视觉特征,并通过文本编码器从指令数据集中提取指令的文本特征; S50、利用获取的视觉特征通过拓扑映射构建拓扑图特征; S60、通过CLIP模型分别提取出文本常识特征和视觉常识特征; S70、根据获取的拓扑图特征、文本常识特征和视觉常识特征,通过构建的文本常识布局学习模块和视觉常识布局学习模块,分别从语言和视觉两个维度帮助VLN代理学习环境常识,输出视觉-拓扑特征和文本指令特征; S80、将步骤S70输出的视觉-拓扑特征和文本指令特征融合得到多模态融合特征; S90、将多模态融合特征输入到动作预测分类头进行动作预测; S100、通过预训练-微调模式训练,并使用强化学习和模仿学习执行在线导航,加载训练基于视觉与文本常识增强的布局学习微调模型测试导航效果,其中该基于视觉与文本常识增强的布局学习微调模型由上述步骤S10-S90的过程实现。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中科(深圳)无线半导体有限公司,其通讯地址为:518000 广东省深圳市南山区南头街道马家龙社区南山大道3838号工业村金栋309;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励