买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军国防科技大学申请的专利非配对数据下的多模态关系提取方法、装置及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119848518B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510331595.7，技术领域涉及：G06F18/213；该发明授权非配对数据下的多模态关系提取方法、装置及电子设备是由老明瑞;张雪毅;郭延明;李正;汤俊;朱嘉楠设计研发完成，并于2025-03-20向国家知识产权局提交的专利申请。

本非配对数据下的多模态关系提取方法、装置及电子设备在说明书摘要公布了：本发明公开了一种多模态关系提取方法，具体是涉及到一种非配对数据下的多模态关系提取方法、装置及电子设备。方法包括：对图像模态数据进行特征提取，得到多个不同层次的视觉特征，以及对文本模态数据进行特征提取，得到最终层文本特征；基于交叉注意力机制将视觉特征与最终层文本特征进行融合，得到视觉特征对应的层次化视觉特征；将层次化视觉特征与最终层文本特征进行融合处理，得到层次化视觉特征对应的多模态特征；对多个层次化视觉特征、多个多模态特征以及最终层文本特征进行聚合，得到多模态融合特征；将多模态融合特征输入预测模块进行关系提取，得到关系提取结果。本方法可提高非配对数据的多模态关系提取结果的准确度。

本发明授权非配对数据下的多模态关系提取方法、装置及电子设备在权利要求书中公布了：1.一种非配对数据下的多模态关系提取方法，其特征是，包括： 对图像模态数据进行特征提取，得到多个不同层次的视觉特征，以及对文本模态数据进行特征提取，得到最终层文本特征； 对于所述多个不同层次的视觉特征中每一个层次的视觉特征，基于交叉注意力机制将所述视觉特征与所述最终层文本特征进行融合，得到所述视觉特征对应的层次化视觉特征； 对于每一个所述层次化视觉特征，将所述层次化视觉特征与所述最终层文本特征进行融合处理，得到所述层次化视觉特征对应的多模态特征； 对多个所述层次化视觉特征、多个所述多模态特征以及所述最终层文本特征进行聚合，得到多模态融合特征； 将所述多模态融合特征输入预测模块进行关系提取，得到关系提取结果； 其中，所述对图像模态数据进行特征提取，得到多个不同层次的视觉特征，包括： 将所述图像模态数据进行预处理得到第0层次的视觉特征后，将所述第0层次的视觉特征输入多个依次连接的图像编码模块，得到所述多个不同层次的视觉特征，其中，每一个所述图像编码模块用于输出一个层次的所述视觉特征； 其中，所述对多个所述层次化视觉特征、多个所述多模态特征以及所述最终层文本特征进行聚合，得到多模态融合特征，包括： 基于多个所述层次化视觉特征和所述最终层文本特征计算聚合权重； 基于所述聚合权重对多个所述层次化视觉特征、多个所述多模态特征和所述最终层文本特征进行聚合，得到所述多模态融合特征； 其中，所述聚合权重为： ； 其中，为预先训练得到的投影矩阵，为所述视觉特征的数量，为所述最终层文本特征，，为第个所述层次化视觉特征，，用于表示Softmax函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410003 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。