买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利基于结构化多模态融合网络的文本指导图像分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115661830B 。

龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211331171.3，技术领域涉及：G06V30/148；该发明授权基于结构化多模态融合网络的文本指导图像分割方法是由刘宇;薛明成;徐凯平;于承扬;张海洋设计研发完成，并于2022-10-28向国家知识产权局提交的专利申请。

本基于结构化多模态融合网络的文本指导图像分割方法在说明书摘要公布了：本发明提供一种基于结构化多模态融合网络的文本指导图像分割方法，通过构建多个多模态融合结构来联合建模全局多模态上下文，高亮文本描述的物体所在的空间区域，进一步通过构建多层次渐进细化模块来整合高层次语义和低层次视觉特征从而将文本描述的物体与相似的物体明显区分开、生成精准的分割掩码。该方法主要包括：特征提取、渐进的多模态融合树模块构建、跨膜态融合Transformer模块构建、多层次渐进融合细化模块构建。使用卷积神经网络提取图片中的语义特征；通过渐进的多模态融合树模块建模初步的全局多模态上下文信息；再通过跨膜态融合Transformer模块进一步的建模高质量的全局多模态上下文；最后通过整合高层次多模态语义和低层次视觉细节信息来补充文本描述物体所在空间区域的视觉细节从而明确物体之间的边界，使文本描述的物体与其他物体明显区分开，最终生成精确的分割掩码。

本发明授权基于结构化多模态融合网络的文本指导图像分割方法在权利要求书中公布了：1.基于结构化多模态融合网络的文本指导图像分割方法，其特征在于，步骤如下： 1特征提取 对输入的RGB图片和自然语言文本进行特征提取；其中RGB图片采用卷积神经网络提取图片中的视觉和语言特征，由于该方法属于图像分割分支，因此采用deeplab语义分割模型预训练参数作为卷积神经网络的初始参数，使用deeplab预训练参数能有效的减少网络训练时间，提高网络的泛化能力；对于自然语言文本，使用预训练的GloVe词嵌入模型将每个单词表示为向量，进一步的将该向量输入到双向LSTM长短时记忆网络中，将双向LSTM输出的隐藏态作为整个自然语言文本的向量表示，该过程是将低秩词向量输入LSTM经过多次循环最终得到的隐藏态作为整句话的向量表示； 2渐进的多模态融合树模块构建 由于基于文本的图像分割任务需要根据语言对图像进行全局推理，建模全局的多模态上下文信息，因此构建了一棵多模态树去进行全局推理、聚合全局的多模态上下文信息；首先利用依赖解析器将文本解析为依赖树，此时每个树节点代表一个单词，然后将步骤1中高层次的视觉特征和语言特征作为依赖树的输入，在每个树节点上利用提出的渐进多模态融合模块将每个树节点对应的单词特征和高层次视觉特征进行融合，形成单词特定的多模态特征；为了获取全局的上下文信息，进一步的沿着树结构自下而上的更新节点之间的信息，即利用子节点更新父节点的信息，直至将根节点状态更新，节点之间的信息交换是由门控装置完成；此时多模态树根节点的特征具有全局的上下文信息； 3跨模态融合Transformer模块构建 为了进一步提升模型的鲁棒性获得更加精细的多模态特征，设计了一个基于Transformer的模块以在步骤2的多模态树建模的基础上进一步建模多模态特征和语言特征之间更深层次的交互；跨模态融合Transformer包括两个线性映射层、六个具有位置编码的Transformer编码器层以及一个噪声滤波头； 在跨模态融合Transformer模块中，首先处理多模态特征和语言特征，将两个特征分别送入到线性映射层中得到新的特征映射，然后将处理后的特征和一个特殊的可学习特征提供给Transformer编码层去建模更高质量的全局多模态上下文；进一步的为了获得更加精细的多模态特征，在噪声过滤头中，包含丰富上下文信息的特殊特征过滤与文本描述物体无关的噪声，高亮文本描述的物体所在的空间区域； 4多层次渐进融合细化模块构建： 通过构建步骤2的多模态融合树与步骤3的跨模态融合Transformer，视觉和文本两种模态特征被精确对齐，生成了精细的多模态特征，这个多模态特征高亮了文本描述的物体所在的空间区域；为了改进分割掩码的细节、生成精确的预测掩码，设计了一种多层次渐进融合细化模块，该模块将低层次视觉特征的细节信息以渐进融合的方式补充给高层次多模态特征，使得高层语义特征拥有更多的局部细节；最后模型将这个具有充足局部和全局信息的特征来预测最终的分割掩码。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路２号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。