买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利多模态图像融合决策方法、装置、设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120747704B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511271217.0，技术领域涉及：G06V10/80；该发明授权多模态图像融合决策方法、装置、设备和存储介质是由夏灿铭;李论通;彭佩玺;许浩然;常亦谦;谭光;黎文博;许芬;田永鸿设计研发完成，并于2025-09-08向国家知识产权局提交的专利申请。

本多模态图像融合决策方法、装置、设备和存储介质在说明书摘要公布了：本申请实施例提供多模态图像融合决策方法、装置、设备和存储介质，涉及图像处理技术领域。根据当前帧对应的RGB图像和DVS图像得到RGB编码特征和DVS编码特征，获取当前帧对应的时空掩码矩阵，将RGB编码特征、DVS编码特征和时空掩码矩阵输入预设层数互相级联的注意力融合结构进行特征融合得到RGB融合特征和DVS融合特征，获取基于RGB融合特征和DVS融合特征进行信息交互得到的交互特征，利用解码器根据RGB融合特征、DVS融合特征和交互特征得到当前帧的预测结果。针对黑暗场景下RGB图像易受光照不足影响产生的噪声、DVS图像因动态信息捕捉偏差出现的干扰，引入时空掩码矩阵进行抑制，降低噪声的影响，并通过交互特征补充场景动态信息，提升黑暗场景下的预测精度。

本发明授权多模态图像融合决策方法、装置、设备和存储介质在权利要求书中公布了：1.一种多模态图像融合决策方法，其特征在于，包括： 将获取的当前帧对应的RGB图像和DVS图像分别输入对应的特征编码器进行编码，得到RGB编码特征和DVS编码特征； 获取所述当前帧对应的时空掩码矩阵，将所述RGB编码特征、所述DVS编码特征和所述时空掩码矩阵输入预设层数互相级联的注意力融合结构进行特征融合，对于每个所述注意力融合结构，获取第一输入数据和第二输入数据，所述第一输入数据的初始值为所述RGB编码特征，所述第二输入数据的初始值为所述DVS编码特征；在对应的所述注意力融合结构中，根据所述第一输入数据得到第一查询向量，根据所述DVS编码特征得到第一键向量和第一值向量，根据所述第二输入数据得到第二键向量和第二值向量，根据所述DVS编码特征得到第二查询向量，并根据所述时空掩码矩阵、所述第一查询向量、所述第一键向量和所述第一值向量计算第一输出数据，以及根据所述时空掩码矩阵、所述第二查询向量、所述第二键向量和所述第二值向量计算第二输出数据；对于级联的两个所述注意力融合结构，对应的前一个所述第一输出数据为后一个的所述第一输入数据、前一个所述第二输出数据为后一个的所述第二输入数据，最后一个所述注意力融合结构的所述第一输出数据为RGB融合特征、所述第二输出数据为DVS融合特征，并将每一个所述注意力融合结构对应的所述第一输出数据和第二输出数据输入对应的特征内存结构进行数据处理；在所述特征内存结构中，根据所述第一输出数据和所述第二输出数据的累加结果得到交互键向量和交互值向量，获取当前所述注意力融合结构对应的初始交互向量作为交互查询向量，所述初始交互向量的初始值为预设向量；根据所述交互查询向量、所述交互键向量、所述交互值向量进行注意力计算得到交叉注意力向量，根据所述交叉注意力向量得到交互特征； 将所述RGB融合特征、所述DVS融合特征和所述交互特征输入解码器进行解码，得到所述当前帧对应的预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。