买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种基于实体级跨模态交互的多模态命名实体识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115796182B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211486444.1，技术领域涉及：G06F40/295；该发明授权一种基于实体级跨模态交互的多模态命名实体识别方法是由李思;赵刚;龚晓成;董冠霆;闫浩龙;史一栋设计研发完成，并于2022-11-24向国家知识产权局提交的专利申请。

本一种基于实体级跨模态交互的多模态命名实体识别方法在说明书摘要公布了：本发明提供了一种基于实体级跨模态交互的多模态命名实体识别方法，引入实体范围检测作为辅助任务，以抽取实体特征作为文本和视觉模态信息交互的桥梁，同时，提出了一种基于异构图的实体级跨模态交互网络来挖掘视觉模态中的实体信息，增强文本特征，从而应对多模态命名实体识别任务的特有挑战，并提高多模态命名实体识别的性能；通过使用包含完整语义信息的实体特征与目标特征交互，实现更高效地捕获实体相关视觉信息，提高多模态命名实体识别的准确率；通过将非实体词元排除到跨模态交互过程外，保护非实体词元免受视觉模态噪声的干扰，减少图像噪声干扰导致非实体词元误识别为实体的错误情况发生。

本发明授权一种基于实体级跨模态交互的多模态命名实体识别方法在权利要求书中公布了：1.一种基于实体级跨模态交互的多模态命名实体识别方法，其特征在于，在模型训练时，该方法包括： 步骤一、将输入文本利用词典进行词元化切分，使用预训练语言模型BERT将文本词元序列映射为向量表示，输入的待命名实体识别文本即数值化为每个词元向量列连接而成的文本编码矩阵； 步骤二、将文本编码矩阵输入到第一个Transformer层，通过多头注意力机制获得语境化词元特征表示，使用线性变换将语境化词元特征表示投影到多模态空间得到投影词元特征； 步骤三、将文本编码矩阵输入到第二个Transformer层，获得实体范围检测子任务的特定词元特征，将特定词元特征和实体范围检测真实标签输入条件随机场ConditionalRandomField，CRF，计算实体范围检测损失函数，并由维特比译码解码得到实体范围检测结果； 步骤四、将投影词元特征根据实体范围检测结果进行最大池化MaxPooling，得到实体特征； 步骤五、将输入图像利用DETR模型进行视觉目标检测，检测到的全部视觉目标区域裁剪后与输入图像一起送入ResNet模型进行编码，输入图像即被编码为每个目标向量列连接而成的目标编码矩阵； 步骤六、将目标编码矩阵输入带有ReLU激活函数的多层感知机，将目标编码矩阵投影到多模态空间，得到投影目标特征； 步骤七、将投影词元特征、投影目标特征和实体特征视作词元结点、目标结点、实体结点，使用实体-词元边、实体-目标边、同模态边连接三种结点，得到多模态异构图； 步骤八、将多模态异构图输入跨模态交互网络中，根据每种类型的边进行同模态和跨模态信息的交互和融合，得到多模态词元特征； 步骤九、将多模态词元特征和词元的命名实体识别真实标签输入条件随机场中，计算多模态命名实体识别损失函数； 步骤十、将多模态命名实体识别损失函数和实体范围检测损失函数进行加权求和，得到整体损失函数，使用反向传播算法BackPropagation,BP计算梯度，并使用Adam优化器优化整体损失函数更新模型各层权重。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。