买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于外部三元组和抽象关系的图像描述生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114332519B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111638065.5，技术领域涉及：G06V10/762；该发明授权一种基于外部三元组和抽象关系的图像描述生成方法是由姜明;陈景翔;张旻;李鹏飞设计研发完成，并于2021-12-29向国家知识产权局提交的专利申请。

本一种基于外部三元组和抽象关系的图像描述生成方法在说明书摘要公布了：本发明公开了一种基于外部三元组和抽象关系的图像描述生成方法。本发明首先提取图像描述文本中的三元组，构建外部关系库并对三元组进行特征编码。将文本相似度高于阈值的三元组聚类为一类。同时模型对图像进行目标检测得得到目标视觉特征集合与目标类别集合；根据文本相似度在外部关系库中查询目标与目标类别相似的三元组。模型利用目标视觉特征对图像的目标、属性、关系分别进行预测，生成场景图；并利用卷积神经网络融合视觉特征与文本特征，对目标、属性、关系进行特征编码。最后融合场景图目标、属性、关系编码特征与相似关系和抽象关系的编码特征，输入到双层LSTM序列生成模型中得到最终的图像描述。本发明使模型生成描述的表述更加丰富。

本发明授权一种基于外部三元组和抽象关系的图像描述生成方法在权利要求书中公布了：1.一种基于外部三元组和抽象关系的图像描述生成方法，其特征在于包括以下步骤： 步骤1使用开放域知识抽取工具，提取图像描述文本中的三元组，构建外部关系库，并对三元组进行特征编码； 步骤2根据三元组中关系rel的文本相似度，将文本相似度高于设定阈值的三元组聚类为一类，称之为抽象关系Rabs； 步骤3对图像进行目标检测，得到目标视觉特征集合V与目标类别集合W；根据文本相似度，在外部关系库中查询目标obj与目标类别相似的三元组，称之为相似关系Rsim； 步骤4利用目标视觉特征V，对图像的目标obj、属性attr、关系rel分别进行预测，生成场景图；并利用多模态图卷积神经网络MGCN融合目标视觉特征与目标类别W的词向量，对目标obj、属性attr、关系rel进行特征编码； 步骤5图像描述生成模型用于融合场景图编码特征与关系编码特征，得到融合特征；所述的关系编码特征包括相似关系的编码特征和抽象关系的编码特征；融合特征输入到图像描述生成模型的双层LSTM解码器中进行训练，挑选最优训练模型；将图像输入训练好的图像描述生成模型，输出对应的图像描述； 步骤4具体实现过程如下： 4-1利用目标视觉特征V，对图像的目标obj、属性attr、关系rel分别进行预测，生成场景图；对于目标，利用FasterRCNN进行目标检测；对于属性，利用预先训练的属性分类器进行属性预测；对于关系，利用MOTIFS场景图生成模型进行关系检测；最终分别得到目标obj、属性attr、关系rel的类别词向量eo,ea,er以及它们对应的视觉特征vo,va,vr； 4-2为了获得更好的节点特征，融合对应类别词向量与视觉特征，通过公式6得到新的融合节点特征uo,ua,ur，其中W1,W2是融合参数； u＝ReLUW1e+W2v-W1e-W2v26 4-3将融合后的融合节点特征uo,ua,ur输入到多模态图卷积神经网络MGCN中进行编码，得到场景图编码特征如公式7至公式9所示； 其中，fr,fa,fo为参数相互独立的网络，该网络由全连接层与一层ReLU层构成；ox为第x个目标节点，rx,y为第x个目标与第y个目标的关系节点，oy为第y个目标的目标节点；ax,l为第x个目标节点的第l个属性节点；sbjox为与第x个目标节点相连的主语节点集合，op为其中的主语目标；objox为第x个目标节点的宾语节点集合，oq为其中的宾语目标；Nax,Nrx分别为第x个目标的属性节点数量与关系节点数量；u是融合节点特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。