买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利一种多模态数据互补、校错与容失机制的融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120030499B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510472091.7，技术领域涉及：G06F18/25；该发明授权一种多模态数据互补、校错与容失机制的融合方法是由赵作鹏;李露;雅可;姚欣茹设计研发完成，并于2025-04-16向国家知识产权局提交的专利申请。

本一种多模态数据互补、校错与容失机制的融合方法在说明书摘要公布了：本发明公开一种多模态数据互补、校错与容失机制的融合方法，步骤包括：采集同一场景下的微波数据流和红外数据流；对微波数据和红外数据流进行特征提取，采用多模态特征融合框架，通过自适应学习特征的权重，进行多模态数据的互补融合；设计多模态生成网络对丢失模态数据进行生成，利用配准差异自动识别和修正传感器引起的配准误差；对信息缺失和误差修正进行容错性处理，动态调整不同模态在融合中的权重，增强系统在复杂环境下的稳定性。通过深度学习的驱动，充分发挥多模态数据间的互补性，解决了信息缺失、配准误差和容错性问题，显著提高了微波与红外数据融合的精度与鲁棒性，适用于复杂数据融合任务中的目标检测与识别。

本发明授权一种多模态数据互补、校错与容失机制的融合方法在权利要求书中公布了：1.一种多模态数据互补、校错与容失机制的融合方法，其特征在于，包括以下步骤： Step1、采集同一场景下的微波数据流和红外数据流； Step2、对微波数据和红外数据流进行特征提取，然后采用Transformer的多模态特征融合框架，通过自适应学习特征的权重，进行多模态数据的互补融合；对微波数据流和红外数据流进行特征提取操作的步骤为： Step2.1-1、首先假设微波数据和红外数据流的原始数据分别为和，分别对应微波和红外图像序列，由于不同模态的数据可能存在不同的分辨率、尺度和噪声，在处理之前，对其进行数据归一化： ； 其中，和是微波数据的均值和标准差，和是红外数据的均值和标准差； Step2.1-2、针对每个模态的数据，使用卷积神经网络深度学习方法提取高维特征； 假设微波数据的特征表示为，红外数据的特征表示为，通过CNN提取的过程表示为： ； 其中，和是针对微波和红外数据的卷积神经网络，分别生成每种模态的特征表示； Step2.1-3、对提取的特征进行标准化处理，这一过程通过减去均值并除以标准差来完成： ； 其中，和是微波数据特征的均值和标准差，和是红外数据特征的均值和标准差； 在完成上述的特征提取和预处理步骤后，得到两个模态的特征表示和，它们将在后续的Transformer模型中进行融合，将这两个模态的特征作为输入，传入Transformer框架进行跨模态融合； 对微波数据流和红外数据流采用Transformer的多模态特征融合框架的步骤为： Step2.2-1、微波数据特征和红外数据特征通过Transformer架构中的自注意力计算来学习它们之间的关系，得到自适应的权重，这些加权的特征最终进行融合，生成一个联合的特征表示，自注意力机制的目标是通过计算每个输入特征之间的相关性，为每个特征分配一个权重，具体计算公式如下： ； 其中：是查询矩阵，表示当前模态的特征；是键矩阵，表示另一模态的特征；是值矩阵，表示模态的实际特征信息；是键的维度，用于对内积进行缩放； Step2.2-2、通过Transformer的自注意力机制学习不同模态间的相关性，设计联合的查询、键和值矩阵，进行跨模态的自适应学习，计算公式如下： ； ； 其中，、、是第一个模态的查询、键和值；、、是第二个模态的查询、键和值；、、是训练的权重矩阵，分别用于查询、键和值的计算；通过自注意力机制计算跨模态的相关性得分： ； 同样的，通过计算，来实现模态间的信息流动和融合； Step3、设计基于生成对抗网络的多模态生成网络，对丢失模态数据进行生成，减少信息丢失对融合结果的负面影响； Step4：采用深度学习驱动的校错机制和高斯过程回归技术，自动识别并修正传感器引起的配准误差，通过优化误差分布，提高配准精度； Step5：引入鲁棒损失函数，针对信息缺失和误差修正进行容错性处理，增强系统的鲁棒性与准确性； Step6、通过自适应加权机制，动态调整不同模态在融合中的权重，进一步增强系统在复杂环境下的稳定性； Step7、生成最终融合数据，并将其用于目标检测与识别任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221000 江苏省徐州市铜山区大学路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。