买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利基于最优传输与多头自注意力网络的多模态知识补全方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119476437B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411517873.X，技术领域涉及：G06N5/022；该发明授权基于最优传输与多头自注意力网络的多模态知识补全方法是由李鹏;赵博洋;王汝传;徐鹤;朱枫设计研发完成，并于2024-10-29向国家知识产权局提交的专利申请。

本基于最优传输与多头自注意力网络的多模态知识补全方法在说明书摘要公布了：本发明属于知识图谱嵌入技术领域，公开了一种基于最优传输与多头自注意力网络的多模态知识补全方法，包括：将不同模态的数据，使用相应模态的预训练模型提取结构、视觉图像和文本嵌入，将视觉图像向量表示和文本向量表示输入到多头自注意力网络层为实体的不同模态信息赋予权重，得到辅助模态信息的嵌入，将分别得到的三种模态的嵌入，以结构嵌入为基准，通过最优传输策略最小化Wasserstein距离将其他两个模态与结构嵌入对齐保持一致；将对齐的多模态嵌入与结构嵌入融合得到统一表示。本发明充分利用到多模态辅助信息，有效解决模态空间异质性。在链接预测方面实现更好的预测。

本发明授权基于最优传输与多头自注意力网络的多模态知识补全方法在权利要求书中公布了：1.一种基于最优传输与多头自注意力网络的多模态知识补全方法，其特征在于：所述多模态知识补全方法具体包括以下步骤： 步骤1、选取数据集，对不同模态的数据，使用相应模态的预训练模型提取结构、视觉图像和文本嵌入，输出结构向量表示、视觉图像向量表示和文本向量表示； 步骤2、经过步骤1后得到的视觉图像向量表示和文本向量表示输入到多头自注意力网络计算注意力分数，将计算出的注意力分数为文本多模态消息、视觉图像多模态信息赋予权重，得到辅助文本多模态消息的嵌入、辅助视觉图像多模态信息的嵌入； 步骤3、对经过步骤1提取的结构向量表示、步骤2得到辅助文本多模态消息的嵌入、辅助视觉图像多模态信息嵌入，以结构向量表示嵌入为基准，通过计算Wasserstein距离将Wasserstein距离最小化，将模态对齐过程建模为将不同维度的模态嵌入转移到对齐空间即结构向量表示嵌入空间的过程，将辅助文本多模态消息嵌入、辅助视觉图像多模态信息嵌入与结构向量表示嵌入对齐保持一致，形成文本对齐嵌入和视觉图像对齐嵌入； 步骤4、经过步骤3获得文本对齐嵌入、视觉图像对齐嵌入与结构向量表示嵌入位于同一空间，文本对齐嵌入、视觉图像对齐嵌入与结构向量表示嵌入融合，得到最终的统一表示；其中， 所述步骤3中，辅助文本多模态消息嵌入I与结构向量表示嵌入S对齐具体包括以下步骤： 步骤3.1.1、估计辅助文本多模态消息嵌入EI的分布uI和结构向量表示嵌入ES的分布v； 步骤3.1.2、找到从uI到v的传输耦合T，其中Tij给出从辅助文本多模态消息嵌入EI的第i个特征维度传输到结构向量表示嵌入ES的第j个维度的概率； 步骤3.1.3、用传输耦合T计算重心，然后将辅助文本多模态消息嵌入EI映射到统一空间S，形成新的文本对齐嵌入 在步骤3.1.2中，计算测量uI和v之间的传输耦合T，其公式如下： 其中，Lij是评估和之间距离的成本函数，WuI,v是分布uI和分布v之间的Wasserstein距离； 在步骤3.1.3中，获得传输耦合T后，辅助文本多模态消息嵌入EI转换为目标对齐嵌入公式如下： 其中，Δθ是可调整的传输参数，TT是传输耦合T的转置； 所述步骤3中，将视觉图像对齐嵌入V与结构向量表示嵌入S对齐具体包括以下步骤： 步骤3.2.1、估计辅助视觉图像多模态信息嵌入EV的分布uV和结构向量表示嵌入ES的分布v； 步骤3.2.2、找到从uV到v的传输耦合T，其中Tij给出从辅助视觉图像多模态信息嵌入EV的第i个特征维度传输到ES的第j个维度的概率； 步骤3.2.3、用传输耦合T计算重心，然后将辅助视觉图像多模态信息嵌入EI映射到统一空间S，形成新的视觉图像对齐嵌入 在步骤3.2.2中，计算测量uV和v之间的传输耦合T，其公式如下： 其中，Lij是评估和之间距离的成本函数，WuV,v是分布uV和分布v之间的Wasserstein距离； 在步骤3.2.3中，获得传输耦合T后，辅助视觉图像多模态信息嵌入EV转换为视觉图像对齐嵌入公式如下： 其中，Δθ是可调整的传输参数，TT是传输耦合T的转置； 步骤2中，文本向量输入到多头自注意力网络计算注意力分数，公式为： 将计算出的注意力分数为实体的文本多模态消息赋予权重，公式为： 其中，XI是对实体进行文本多模态特征编码后得到的文本多模态特征矩阵，是文本多模态的查询矩阵，是文本多模态的键矩阵，是文本多模态的值矩阵，表示特征维度，VI是经过多头自注意力处理后的文本多模态特征矩阵； 视觉图像向量表示输入到多头自注意力网络计算注意力分数，公式为： 将计算出的注意力分数为实体的视觉图像多模态信息赋予权重，公式为： 其中，XV是对实体进行视觉图像多模态特征编码后得到的视觉图像多模态特征矩阵，是视觉图像多模态的查询矩阵，是视觉图像多模态的键矩阵，是视觉图像多模态的值矩阵，表示特征维度，VV是经过多头自注意力处理后的视觉图像多模态特征矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210046 江苏省南京市栖霞区文苑路9号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。