买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利基于概念解析器和多模态图学习的视频内容描述方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116245115B 。

龙图腾网通过国家知识产权局官网在2025-10-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310255930.0，技术领域涉及：G06F40/35；该发明授权基于概念解析器和多模态图学习的视频内容描述方法是由黄鹏;俞俊;吴波锋;陈宇设计研发完成，并于2023-03-16向国家知识产权局提交的专利申请。

本基于概念解析器和多模态图学习的视频内容描述方法在说明书摘要公布了：本发明公开了一种基于概念解析器和多模态图学习的视频内容描述方法，它同时考虑了低级视觉信息和高级概念线索，并以端到端的方式有效地整合了它们。具体来说，低级视觉信息和高级概念线索是分别从VideoSwinTransformer和概念解析器中获得的，并引入概念损失来规范概念解析器的学习过程以生成真实的概念结果。为了融合多级特征，本方法引入了CaptionTransformer，其将视觉信息和概念线索作为输入，通过多模态图学习来处理这些输入信息。多模态图会以显式方式对多级特征，包括本文特征、视觉特征、概念特征之间的关系进行建模，并且会进一步细化它们的重要程度。

本发明授权基于概念解析器和多模态图学习的视频内容描述方法在权利要求书中公布了：1.基于概念解析器和多模态图学习的视频内容描述方法，其特征在于，其步骤如下： 步骤1.数据集及概念获取，使用三个公开视频描述数据集，分别是MSVD、MSR-VTT和VATEX；使用NLTK工具提取真实视频描述文本中的名词和动词作为伪真实概念； 步骤2.视觉特征提取，对输入视频进行采样获取视频帧，将视频帧作为VideoSwinTransformer的输入最终输出视觉特征； 步骤3.概念特征解析，将视觉特征输入概念解析器得到高级的概念特征；具体实现如下： 将视觉特征输入概念解析器，经过池化、投影操作后，将视觉特征映射到概念空间中，然后选择前k个出现概率最高的概念，并且将其编码后，作为后续CaptionTransformer的输入； 步骤4.多模态图指导下的描述生成，通过CaptionTransformer，在多模态图的指导下智能的弥补描述、视觉和概念空间三者之间的差距，从而输出高质量的视频描述文本；具体方法如下： CaptionTransformer将步骤2中的视觉特征，步骤3中的概念特征，以及文本特征作 为输入；其中文本特征通过BERT模型对掩码后的句子进行编码 得到； 在CaptionTransformer上，通过多模态图以显式方式对多级特征，包括文本特征、视觉特征、概念特征三者之间的关系进行建模，并且将进一步细化它们的重要程度，以增强视觉特征和概念特征的表征能力； 步骤5.确定损失函数； 步骤6.网络训练与推理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。