买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海人工智能创新中心申请的专利基于知识迁移的多模态知识融合方法、存储介质和应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117671438B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311424648.7，技术领域涉及：G06V10/80；该发明授权基于知识迁移的多模态知识融合方法、存储介质和应用是由王之港;赵斌;景凌林;李学龙设计研发完成，并于2023-10-31向国家知识产权局提交的专利申请。

本基于知识迁移的多模态知识融合方法、存储介质和应用在说明书摘要公布了：本发明涉及一种基于知识迁移的多模态知识融合方法、存储介质和应用，方法包括如下步骤：训练阶段：获取用于训练的图像序列及其时序梯度信息，以及点云数据，编码得到图像特征、时序特征和点云序列表征；针对图像特征和时序特征，通过图像一致性处理得到时间对齐后的二维图像表征；针对二维图像表征和点云序列表征，通过带有注意力遮挡的多模态注意力机制使二维图像表征的知识迁移到点云序列表征中，得到融合特征；实施阶段：获取用于预测的点云数据并进行编码，通过带有注意力遮挡的多模态注意力机制得到新的融合特征，基于新的融合特征执行预设的四维场景理解任务。与现有技术相比，本发明在融合二维图像的同时，减少实施阶段计算资源开销。

本发明授权基于知识迁移的多模态知识融合方法、存储介质和应用在权利要求书中公布了：1.一种基于知识迁移的多模态知识融合方法，其特征在于，包括如下步骤： 训练阶段： 获取用于训练的图像序列及其时序梯度信息，以及点云数据，通过编码得到图像特征、时序特征和点云序列表征； 针对所述图像特征和所述时序特征，通过图像一致性处理得到时间对齐后的二维图像表征； 针对所述二维图像表征和所述点云序列表征，通过带有注意力遮挡的多模态注意力机制使二维图像表征的知识迁移到点云序列表征中，得到融合特征，基于所述融合特征进行训练； 实施阶段： 获取用于预测的点云数据并进行编码，通过带有注意力遮挡的多模态注意力机制得到新的融合特征，基于新的融合特征执行预设的四维场景理解任务， 所述的二维图像表征的获取过程包括： 采用时序滑动窗口对所述图像特征和所述时序特征分别进行提取并进行二次编码，得到二次编码后的图像特征和二次编码后的时序特征； 基于二次编码后的图像特征和二次编码后的时序特征，通过融合得到时间相关性特征； 基于所述时间相关性特征和二次编码后的图像特征，通过融合得到所述二维图像表征， 在训练阶段中，所述的二次编码后的图像特征和二次编码后的时序特征通过时间维度上的对比学习实现时间对齐， 所述的点云数据为四维点云数据， 在训练阶段中，所述的注意力遮挡被配置为使点云序列表征无法利用图片表征的信息，图片表征拥有完整输入模态信息，即点云表征与图片表征，实现图片知识迁移到点云序列的同时，点云序列在实施阶段不依赖于图片表征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海人工智能创新中心，其通讯地址为：200232 上海市徐汇区云锦路701号37、38层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。