买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南匡安网络技术有限公司;湖南澧水流域水利水电开发有限责任公司申请的专利一种基于多模态深度特征融合的无人机电站巡检故障检测方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120766015B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510886832.6，技术领域涉及：G06V10/764；该发明授权一种基于多模态深度特征融合的无人机电站巡检故障检测方法和系统是由巢建平;罗汸;杨志邦;李建新;王伟杰;周洲;蔡宇辉;陈灏;余思洋;唐伟;吕婷设计研发完成，并于2025-06-30向国家知识产权局提交的专利申请。

本一种基于多模态深度特征融合的无人机电站巡检故障检测方法和系统在说明书摘要公布了：本发明公开了一种基于改进YOLOv12与多模态深度特征融合的无人机电站巡检故障检测方法，其首先通过对可见光图像、红外热成像图像与激光雷达点云图像进行图像增强、伪彩色映射等预处理操作，提升输入数据的质量与模态间可融合性；其次，构建空间对齐与通道堆叠机制，并在主干特征提取模块中引入MMFM模块，实现多模态特征的显著性引导与动态融合，从而增强模型在低照度、遮挡及热信号弱等复杂环境下的检测鲁棒性；再次，在主干特征提取模块中集成MADSE模块，构建多尺度动态感知结构，有效提升对微小故障与宏观结构的同步识别能力；同时结合MGFP模块，精细建模模态间的互补关系与干扰抑制能力，提升融合特征表达效果；最后，构建多标签学习框架。

本发明授权一种基于多模态深度特征融合的无人机电站巡检故障检测方法和系统在权利要求书中公布了：1.一种基于改进YOLOv12与多模态深度特征融合的无人机电站巡检故障检测方法，其特征在于，包括： 1通过无人机从电站场区获取多模态电站图像数据，并对该多模态电站图像数据进行预处理，以得到预处理后的多模态电站图像数据；具体为，首先对得到的融合了光照、热量和空间信息后的多模态电站图像数据中的红外热成像图像采用伪彩色映射方式将灰度图转换为伪可见光图像，以得到突出高温区域的视觉特征的红外热成像图像；然后，对得到的融合了光照、热量和空间信息后的多模态电站图像数据中的可见光图像应用CLAHE提升局部对比度，同时引入随机Gamma 校正、亮度扰动与图像锐化增强方式，以得到图像特征更加清晰的可见光图像；其后，对得到的融合了光照、热量和空间信息后的多模态电站图像数据中的激光雷达点云图像的深度图采用中值滤波去噪处理，并对像素值进行归一化，以得到归一化处理后的激光雷达点云图像；最后，将得到的突出高温区域的视觉特征的红外热成像图像、图像特征更加清晰的可见光图像、以及归一化处理后的激光雷达点云图像进行整合，以得到多模态电站图像数据； 2将步骤1中得到的预处理后的多模态电站图像数据输入预先训练好的YOLOv12改进模型中，以得到最终的检测结果；YOLOv12改进模型包括输入模块、主干特征提取模块、特征融合模块和检测头模块； 输入模块的输入是尺寸为640×640×3的多模态电站图像，该输入模块对该多模态电站图像进行归一化处理，输出为归一化后的多模态电站图像； 主干特征提取模块的具体结构为： 第一层是初步特征提取层，其输入是输入模块得到的归一化后的多模态电站图像，该初步特征提取层首先是将归一化后的多模态电站图像输入到一个标准的卷积层，以得到多模态电站图像中的低层次特征，并输出维度为640×640×64的特征图；然后，通过 GhostConv模块进一步处理该特征图，输出维度为 640×640×64的特征图；随后，通过残差块Res对该640×640×64的特征图进行特征增强处理，输出维度为 640×640×64的特征图；最后，对该维度为 640×640×64的特征图进行下采样操作，最终输出维度为320×320×128的特征图； 第二层是多模态特征融合与进一步特征提取层，其输入是第一层得到的维度为320×320×128的特征图，该多模态特征融合与进一步特征提取层首先将第一层输出的维度为320×320×128的特征图输入到卷积层中，以输出维度为320×320×128的特征图；然后，使用GhostConv模块对该特征图进行处理，以输出维度为320×320×128的特征图；接着，使用残差块对该维度为320×320×128的特征图进行处理，以输出维度为320×320×128的特征图；其后，使用多模态注意力融合模块MMFM对维度为320×320×128的特征图进行处理，以输出维度为320×320×128的特征图；最后，对该特征图进行下采样操作，最终输出维度为160×160×256的特征图； 第三层是深层特征提取层，其输入是第二层得到的维度为160×160×256的特征图，该深层特征提取层将该尺寸为160×160×256的特征图输入到卷积层中，以输出维度为160×160×256的特征图；接着，使用GhostConv模块对该特征图进行进一步特征提取，以输出维度为160×160×256的特征图；随后，通过残差块对该特征图进行处理，以输出维度为160×160×256的特征图；其后，使用MGFP模块对该特征图进行处理，以输出维度为80×80×512的特征图；最后，进行下采样操作，以输出维度为80×80×512 的特征图； 第四层是高层特征提取层，其输入是第三层输出的输出维度为80×80×512 的特征图，该高层特征提取层首先将该特征图输入卷积层中，以输出维度为80×80×512的特征图；接着，通过GhostConv模块对该特征图进行处理，以输出维度为80×80×512的特征图； 然后，应用残差块对该维度为80×80×512的特征图进行处理，以输出维度为 80×80×512的特征图；最后，对该维度为 80×80×512的特征图进行下采样操作，最终输出维度为40×40×1024的特征图； 第五层是MADSE模块，其输入是主干特征提取模块中第一层至第四层输出的各个维度的特征图，其对输入的各个维度的特征图进行多路径空洞卷积和模态显著性图生成器处理，最终输出为融合多信息的特征图； MMFM模块的结构层次具体为： MMFM模块的第一层是模态自适应通道注意力层MCA，其输入是多模态特征融合与进一步特征提取层中残差块输出的维度为320×320×128特征图，该MCA层采用全局平均池化+两层全连接层+ Sigmoid激活函数组合的挤压与激发SE注意力机制，对该特征图中每个模态的重要通道进行赋权，以输出维度为320×320×128的三种加权后的特征图； MMFM模块的第二层是模态交互空间注意力层MISA，其输入是MCA层输出的维度为320×320×128的三种加权后的特征图，该MISA层对该特征图进行拼接，并通过3×3卷积生成空间注意力图，最终得到维度为320×320×1的空间注意力图‘’MMFM模块的第三层是注意力融合模块层AGF，其输入是MISA层输出的维度为320×320×1的空间注意力图，该AGF层将维度为320×320×1的空间注意力图进行加权融合，输出为统一融合后的维度为320×320×128的特征图； MMFM模块的第四层是残差连接与标准化层RLN，其输入是AGF层输出的统一融合后的维度为320×320×128的特征图，该RLN对统一融合后的维度为320×320×128的特征图进行LayerNorm处理；然后，通过残差连接与原始模态融合特征对LayerNorm处理结果进行相加，最终输出特征图维度为320×320×128的特征图； MGFP模块的结构层次具体为： MGFP模块的第一层是模态分组特征拆分层MGS，其输入是深层特征提取层中残差块输出的维度为160×160×256的特征图，该MGS层将该特征图的多模态特征按通道维度进行划分，每组划分出多个子分支，输出维度为160×160×256的特征图； MGFP模块第二层是金字塔空洞卷积提取层PDE，其输入是MGS层输出的维度为160×160×256的特征图，该PDE层对该特征图的模态子特征进行分组，并分别使用不同空洞率的3×3卷积对分组结果进行并行建模，以得到每个模态下维度为160×160×256的金字塔特征图； MGFP模块的第三层是跨模态上下文融合层CCF，其输入是PDE层输出的每个模态下维度为160×160×256的金字塔特征图，该CCF层首先将每个模态下维度为160×160×256的金字塔特征图进行级联，然后输入到一个由3×3卷积层+ GELU激活构成的模块，以得到具有更加抽象和高层次的特征图；随后引入注意力引导的交叉模态通道加权机制对得到的具有更加抽象和高层次的特征图进行处理，最终输出维度为160×160×256的融合特征图； MGFP模块的第四层是全局残差融合层GRM，其输入是CCF层输出的维度为160×160×256的融合特征图，该GRM层将该融合特征图与深层特征提取层中残差块输出的维度为160×160×256的特征图进行逐元素加权融合，然后使用1×1卷积对加权融合结果平衡通道维度，然后执行LayerNorm归一化处理，最终输出维度为160×160×256的特征图； MADSE模块的结构层次具体为： MADSE模块第一层是多路径空洞卷积层DCP，其输入是主干特征提取模块中第一层至第四层输出的各个维度的特征图，该DCP层将输入的特征图通过三条不同的空洞卷积路径进行处理，以输出空洞卷积处理后的特征图； MADSE模块的第二层是模态显著性图生成器层MSG，其输入是空洞卷积处理后的特征图，该MSG层对该特征图进行显著特征激活处理，以输出每种输入模态的显著性图； MADSE模块的第三层是空间权重图融合机制层SWF，其输入是DCP层输出的空洞卷积处理后的特征图和MSG层输出的输入模态的显著性图，该SWF层通过Softmax归一化对该特征图和该显著性图进行处理，以生成空间权重图； MADSE模块的第四层是特征标准化与残差连接层FSR，其输入是SWF层输出的空间权重图，该FSR层首先对该空间权重图进行层归一化处理，然后通过残差连接将层归一化处理后的空间权重图与MADSE模块的第一层输入的特征图进行相加，以输出特征图； 特征融合模块的输入是主干特征提取模块中第一层输出的维度为320×320×128的特征图、主干特征提取模块中第二层输出的维度为160×160×256的特征图、主干特征提取模块中第三层输出的维度为80×80×512的特征图以及主干特征提取模块中第四层输出的维度为40×40×1024的特征图，特征融合模块对这四个特征图分别进行多尺度特征融合与增强处理操作，以得到四个维度融合后的特征图P2 、 P3、P4、P5； 特征融合模块的结构层次具体为： 第一层是上采样与逐元素融合层，其输入是主干特征提取模块的第三层和第四层输出的特征图，该层首先将主干特征提取模块第四层输出的特征图进行1×1卷积降维处理，以得到维度为40×40×512的特征图；接着，对该特征图进行上采样处理，以输出维度为80×80×512的特征图；然后，将上采样后的特征图与主干特征提取模块的第三层输出的特征图进行逐元素相加融合，以输出维度为80×80×512的特征图； 第二层是再上采样与逐元素融合层，其输入是第一层输出的维度为80×80×512的特征图以及主干特征提取模块的第二层输出的特征图，该层首先将第一层输出的维度为80×80×512的特征图进行1×1卷积降维处理，以得到维度为80×80×256的特征图；接着，对该特征图采用上采样处理，以输出维度为160×160×256的特征图；然后，将上采样后的特征图与主干特征提取模块的第二层输出的特征图进行逐元素相加融合，以输出维度为160×160×256的特征图； 第三层是最终上采样与逐元素融合层，其输入是第二层输出的维度为160×160×256的特征图以及主干特征提取模块的第一层输出的特征图，该层首先将第二层输出的维度为160×160×256的特征图进行1×1卷积降维处理，以得到维度为160×160×128的特征图； 接着，对该特征图采用上采样处理，以输出维度为320×320×128的特征图；然后，将上采样后的特征图与主干特征提取模块的第一层输出的特征图进行逐元素相加融合，以输出维度为320×320×128的特征图； 第四层是下采样与逐元素融合层，其输入是第三层输出的维度为320×320×128的特征图以及主干特征提取模块的第一层输出的维度为320×320的特征图，该层首先将主干特征提取模块的第一层输出的特征图进行步长为2的3×3卷积处理，以得到维度为160×160×128的特征图；接着，将得到的特征图与第三层输出的维度为320×320×128的特征图进行融合，以输出维度为160×160×256的特征图；最后，对该维度为160×160×256的特征图进行3×3卷积处理，以输出维度为160×160×256的特征图； 第五层是再下采样与逐元素融合层，其输入是第四层输出的维度为160×160×256的特征图以及主干特征提取模块的第五层输出的特征图，该层首先对第四层输出的维度为160×160×256的特征图进行的3×3卷积处理，以得到维度为80×80×256的特征图；接着，将得到的特征图与主干特征提取模块的第五层输出的特征图进行融合，以得到维度为80×80×512的特征图；最后，对该维度为80×80×512的特征图进行3×3卷积处理，以输出维度为80×80×512的特征图； 第六层是最终下采样与逐元素融合层，其输入是第五层输出的维度为80×80×512的特征图以及主干特征提取模块的第五层输出的特征图，该层首先对第五层输出的维度为80×80×512的特征图进行的3×3卷积处理，以得到维度为40×40×512的特征图；接着，将得到的特征图与主干特征提取模块的第五层输出的特征图进行融合，以输出维度为40×40×1024的特征图；最后，对得到的维度为40×40×1024的特征图进行3×3卷积处理，以输出维度为40×40×1024的特征图； 第七层是通道加权与上下文建模层，其输入是第一层至第六层输出的四种维度的特征图，该层首先一个3×3卷积对该四种维度的特征图进行局部空间特征提取，以得到四种维度的特征图；然后，将该四种维度的特征图展平成序列，以得到四种维度、保留局部空间特征信息的特征图；其后，采用轻量级的多头自注意力机制LTM对展平后的四种维度的特征图进行处理，以得到四种维度的特定特征增强特征图；最后，将得到的四种维度的特定特征增强特征图输入到全连接层中进行归一化化处理，最终输出四个维度的融合特征图：P2、P3、P4、P5； 检测头模块，其输入是特征融合模块输出的四个维度的特征图P2、P3、P4、P5，检测头模块采用对应的检测头结构对每个维度的特征图进行处理，最终输出带有缺陷类别、定位框坐标、置信度评分以及故障类别的多模态电站图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南匡安网络技术有限公司;湖南澧水流域水利水电开发有限责任公司，其通讯地址为：410006 湖南省长沙市芙蓉区湘湖街道和光路102号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。