买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学;中国电子科技集团公司第五十四研究所申请的专利一种多模态无人机图像分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119516187B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411483619.2，技术领域涉及：G06V10/26；该发明授权一种多模态无人机图像分割方法是由关珍博;李婧婷;张文博;姬红兵;段同乐;梁海涛设计研发完成，并于2024-10-23向国家知识产权局提交的专利申请。

本一种多模态无人机图像分割方法在说明书摘要公布了：本发明公开了一种多模态无人机图像分割方法，包括以下步骤；步骤1：构建无人机图像语义分割base网络；步骤2：通过卷积神经网络CNN模块，在浅层捕获高分辨率的局部特征，通过变压器模块中的多头自注意力机制从图像的深层特征中提取，并通过跳跃连接将所述局部特征与深层的全局特征融合；步骤3：构建并行卷积模块，对步骤2融合后的特征进行优化；步骤4：结合步骤2和步骤3中的特征提取结果，将特征信息通过交叉注意力机制进行融合，提升复杂场景中的分割效果；步骤5：构建双重注意力模块，优化图像的局部和全局信息处理。本发明具有全局与局部特征高效融合、对多尺度目标的准确分割、在复杂场景下的鲁棒性显著提升的特点。

本发明授权一种多模态无人机图像分割方法在权利要求书中公布了：1.一种多模态无人机图像分割方法，其特征在于，包括以下步骤； 步骤1：在UNet模型的基础上引入混合编码器，融合卷积与变压器形成特征提取框架，构建无人机图像语义分割base网络； 步骤2：通过卷积神经网络CNN模块，在浅层捕获高分辨率的局部特征，通过变压器模块中的多头自注意力机制从图像的深层特征中提取的全局特征，通过跳跃连接将所述局部特征与全局特征融合； 步骤3：通过并行卷积模块和多头自注意力机制，分别从局部和全局角度对特征进行优化，并行卷积模块提取了细致的局部信息，多头自注意力机制捕捉了远距离的全局依赖； 步骤4：基于步骤2和步骤3提取的局部和全局特征，将特征信息通过交叉注意力机制模块进行RGB-T多模态融合，提升分割效果； 步骤5：对步骤1和步骤2通过结合卷积和变压器构建的基础特征提取框架做优化特征的表达，构建双重注意力模块，用于集成位置和通道特征信息，从而优化图像的局部和全局信息处理； 所述步骤1无人机图像语义分割base网络用于提取无人机图像中的全局和局部特征、处理多尺度目标、提高复杂环境下的分割精度，以及在多模态图像，即RGB图像和T图像中实现信息融合； 所述无人机图像语义分割base网络包括卷积模块、Transformer块、交叉注意力模块以及PCAM模块；卷积模块在网络的前端，用于输入图像的初步局部特征提取，并在跳跃连接中与深层的变压器输出进行融合，Transformer块融合卷积和变压器，通过多层次特征传递和融合，实现对不同尺度目标的精准建模，交叉注意力模块通过RGB图像和T图像的互补信息整合，保证了多模态图像的协同处理，PCAM模块通过对空间和通道特征的增强，确保了不同尺度和类别的目标能够被准确分割； 无人机图像语义分割网络的输入Input： RGB图像：来自无人机的普通可见光图像，包含场景的颜色和细节信息，用于捕捉图像中的视觉特征； T图像：无人机使用热成像设备获取的红外图像，用于弱光、复杂背景环境下的目标检测； 这两种图像分别作为多模态输入，进入网络进行特征提取与处理； 无人机图像语义分割网络的输出Output： 分割掩码SegmentationMask：是与输入图像具有相同尺寸的图像，其中每个像素对应于图像中的一个类别标签； 所述步骤2中，通过卷积和变压器的结合，提取了RGB和T图像中的局部和全局特征，所述特征通过U型结构和跳跃连接进行了融合，保证了不同尺度的图像特征的保留； 局部特征的提取用于精确捕捉图像中的小目标和细节，全局特征的提取确保了对大尺度目标和背景的分割精度； 所述特征提取网络分为四个阶段，前两个阶段利用卷积提取局部特征，后两个阶段利用变压器进行全局建模，通过跳跃连接将两者融合； 在前两个阶段中，采用了ResNetV2卷积块； F1＝ResNetV21X1 F2＝ResNetV22F12 接着，通过第三个阶段，即PatchEmbedding阶段，使用卷积操作对输入进行展平Flatten、定位PositionEmbedding、并应用dropout，最终生成包含位置信息的一维向量； F3＝FlattenConvF23 F3＝PositionEmbeddingF34 F3＝DropoutF35 在最后一个阶段中，利用包含一个并行卷积模块的变压器块，用于增加变压器对局部信息的感知能力，重复12次后输出与原始大小相同的一维向量； T0＝F36 Ti＝TransformerBlockTi-1fori＝1，2，...，127 TransformerBlockT＝LNT+CNTMHSALNT8 LN指的是LayerNormalization，MHSA用于捕捉输入序列中不同位置之间的依赖关系，MHSA通过并行的多头自注意力机制，同时处理来自不同表示空间的信息； 所述步骤4中，局部特征的融合：通过卷积网络和并行卷积模块提取的局部特征，即RGB和T图像中细节层面的特征，所述特征能够通过交叉注意力机制被结合，使得RGB图像的细节信息与T图像中在弱光或复杂背景下捕捉到的补充信息共同作用； 全局特征的融合：通过变压器块提取的全局特征，通过交叉注意力机制进行模态间的信息互补，RGB图像提供了可见光条件下的全局信息，T图像则增强了弱光环境中的全局背景理解； 交叉注意力机制通过将RGB图像的查询Query与T图像的键Key和值Value进行关联，识别出RGB图像和T图像中相关的部分，T图像的查询也与RGB图像的键和值进行关联，实现双向信息融合； 交叉注意力的计算过程如下： 查询Query：来自RGB图像的表示； 键Key和值Value：源自另一模态T图像的特征表示，通过交叉注意力，RGB图像的查询特征与T图像的键和值特征进行点积运算，从而找到T图像中与RGB图像相关的部分，反之亦然； 其中QRGB：表示从RGB图像中提取的查询向量Query，KT：表示从T图像中提取的键向量Key，d是键向量的维度，VT：表示T图像中的值向量； 交叉注意力可以动态地调整RGB和T图像之间的信息融合，提高了对复杂环境中目标的分割准确性； fRGB-T＝CAfi13 通过直接将MHSA后的全局特征与CNT后的局部特征以及通过CA后的多模态特征相加，实现特征融合： 融合特征通过FNN后，输入到下一个变压器块： fi+1＝FFNfi+fi15 所述步骤5中，双注意力模块PCAM-Block作为特征提取器，包含位置注意模块PAM和通道注意模块CAM，分别负责提取位置和通道特征； 所述位置注意力模块PAM能够捕捉特征图中任意两点之间的空间依赖关系，通过对所有位置特征进行加权求和来更新特定特征，其中权重是根据两个位置之间的特征相似性计算得出的； 输入局部特征A∈RC×H×W，其中C为通道数，H为高度，W为宽度，通过卷积操作得到三个新的特征图：B，C，D∈RC×H×W，将B和C重塑为RC×N，其中N＝H×W表示像素数，执行矩阵乘法使用softmax函数将矩阵S中的元素归一化为注意力权重： 将矩阵D重塑为RC×N，执行矩阵乘法并将结果重塑为RC×H×W，将结果与参数相乘，并与特征A进行元素求和运算得到最终输出： 权值α初始设为0，并通过训练逐步学习； 所述CAM通道注意力中，直接将原始特征A∈RC×H×W重塑为RC×N然后在A和其转置之间进行矩阵乘法接着，应用softmax层，获得通道注意图X∈RC×C： 在X的转置和A之间执行矩阵乘法将结果Y重塑为RC×H×W，将结果Y乘以尺度参数β，并与原始特征A进行逐元素求和运算，得到最终输出E∈RC×H×W： E＝β·Y+A19 β通过训练过程学习得到。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学;中国电子科技集团公司第五十四研究所，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。