买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种基于语义关系挖掘与推理的指称图像分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117078939B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311129283.5，技术领域涉及：G06V10/26；该发明授权一种基于语义关系挖掘与推理的指称图像分割方法是由侯雨爽;孔雨秋;张立和;尹宝才设计研发完成，并于2023-09-04向国家知识产权局提交的专利申请。

本一种基于语义关系挖掘与推理的指称图像分割方法在说明书摘要公布了：本发明属于计算机视觉技术领域，一种基于语义关系挖掘与推理的指称图像分割方法。首先使用文本解析器将输入的文本进行解析，得到文本中的实体和实体之间的关系，并生成对应场景图；再将文本和图像分别输入到文本和视觉编码器编码得到文本和视觉特征，并进行特征融合，得到文本嵌入的视觉特征；再将文本嵌入的视觉特征与场景图共同输入到图卷积模块中进行特征更新；最后利用推理融合模块对图卷积输出和文本嵌入的视觉特征进行最终的融合，并使用对比学习损失函数进行训练，最终得到更精确的分割掩码。本发明利用场景图、图卷积和注意力机制对上下文信息和图像特征进行多次的更深入的融合更新，在多个数据集上进一步提高指称图像分割方法的准确率。

本发明授权一种基于语义关系挖掘与推理的指称图像分割方法在权利要求书中公布了：1.一种基于语义关系挖掘与推理的指称图像分割方法，其特征在于，步骤如下： 步骤S1：特征预处理：将从数据集中得到的文本及其对应图像，送入文本和视觉编码器分别得到文本特征和图像特征； 步骤S11：将数据集中的文本输入到文本编码器中，使用的是BERT模型，由此提取得到单词级别的文本特征，其中是文本特征的通道数，T是文本中单词的数量； 步骤S12：使用四阶段的视觉transformer层从图像中以及前一阶段的输出中提取得到丰富的图像特征，即为视觉特征，表示为，分别表示第级中的通道数量、特征图的高度和宽度； 步骤S2：将文本特征与视觉特征输入到视觉融合模块，得到多模态特征，即文本嵌入的视觉特征； 步骤S21：由步骤S12提取得到的视觉特征经由视觉融合模块，与文本特征组合以产生一组多模态特征，即文本嵌入的视觉特征； 步骤S22：每一个文本嵌入的视觉特征中的每个元素由可学习门控单元加权，然后逐元素添加到视觉特征，以产生一组增强多模态特征，其表示为，其中分别表示第级中的通道数量、特征图的高度和宽度； 步骤S3：将数据集中的文本送入文本解析器中，生成字典形式的场景图，并送入文本编码器中得到场景图中的节点特征矩阵以及实体关系邻接矩阵； 步骤S31：将数据集中的文本送入文本解析器中，获得字典形式的场景图文件，其中包含所有的实体单词，以及各实体单词之间的关系； 步骤S32：对字典形式的场景图文件进行解析，根据解析结果创建每一个文本的实体关系邻接矩阵； 步骤S33：提取字典形式的场景图中的实体单词作为节点信息，送入文本编码器中，得到了含有实体单词信息的节点特征矩阵； 步骤S4：将增强多模态特征加入到场景图节点特征矩阵中，构成包含图像信息的场景图节点特征以及邻接矩阵，并共同输入到图卷积神经网络中进行更新； 步骤S41：根据步骤S22得到的第四阶段的增强多模态特征，将其作为一个全局节点特征，加入到由步骤S33得到的节点特征矩阵中，并在邻接矩阵中加入一个全局实体，将全局实体与字典场景图中各个实体单词的邻接关系设置为1，表明该全局节点特征与所有实体节点均有关系，得到增强的场景图； 步骤S42：将步骤S41得到增强的场景图中的节点特征矩阵与关系邻接矩阵作为输入，送入到图的卷积神经网络中，通过增强多模态特征对节点特征进行更新，增强文本信息中与视觉相对应的部分，对节点之间的关系进行挖掘，突出所指物相关的特征，GCN网络输出的特征作为更新后的场景图特征； 步骤S5：在注意力推理模块中逐步将多级增强多模态特征与更新后的场景图特征融合，对融合的结果进行级联，得到最终需要分割的对象的特征； 步骤S51：使用三个注意力推理模块，将步骤S22中得到的增强多模态特征分别作为注意力推理模块的其中一个输入，另一个输入则使用由步骤S42得到的更新后场景图特征； 步骤S52：注意力推理模块内部使用两个输入进行融合，分别通过softmax和sigmoid激活函数来计算两个注意力权重分布，计算获得两个注意力图，分别是聚集注意力图和传播注意力图，聚集注意力图和传播注意力图中的每一个值和的计算公式分别如下： ； 其中， ； ； 其中， ；其中，h, w是特征的高度和宽度，是增强多模态特征的单个特征向量，是更新后场景图特征的单个特征向量，、分别是投影权重矩阵，和是两个投影矢量的标量积，指示两个模态的特征之间的相关性；步骤S53：将聚集注意力图作为权重，对增强多模态特征进行加权求和的运算，得到聚集注意力特征； 步骤S54：基于传播注意力图，将聚集注意力特征转换为与增强多模态特征具有相同维度的特征矩阵，由表示；使用元素加法将与组合，通过另一个卷积层获得新特征映射； 步骤S55：获得的3个特征映射通过逐步的级联操作，最终得到所需要的分割对象的分割特征； 步骤S6：对比学习损失函数训练注意力推理模块，正样本特征表示计算公式如下： ； 其中表示多模态特征；负样本特征表示计算公式如下： ； 其中，gt表示真值，即数据集中给出的所分割物体的正确分割特征； 对比损失计算公式如下： ； ；其中，F表示锚样本的特征表示，f.表示特征映射函数，||.||表示欧几里得距离，是一个称为margin的超参数，用于控制正样本和负样本之间的距离，并用交叉熵损失函数训练整体模型，并且使用指数移动平均来自适应地计算更新两个损失的权重参数，使算法预测结果拟合正确结果；所得的整个算法模型即为指称图像分割方法的工具。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。