买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于时域信息增强的多模态微视频分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116467486B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310378403.9，技术领域涉及：G06F16/75；该发明授权一种基于时域信息增强的多模态微视频分类方法是由张博;张伟;朱志良;于海设计研发完成，并于2023-04-11向国家知识产权局提交的专利申请。

本一种基于时域信息增强的多模态微视频分类方法在说明书摘要公布了：本发明提供一种基于时域信息增强的多模态微视频分类方法，涉及视频分类技术领域。该方法首先将待分类微视频切分成多个视频片段；再分离视频片段中的视觉模态、音频模态和文本模态信息，并提取视觉模态特征、音频模态特征和文本模态特征；然后基于各视频片段的视觉模态特征和音频模态特征，选取最具表达力的视频片段；捕捉最具表达力的视频片段的视觉模态和音频模态的时间域相关信息，得到时域信息增强的特征矩阵；最后将时域信息增强的视觉模态特征、音频模态特征与原始的文本模态特征进行融合，得到最终的分类结果。该方法充分的利用了视频的音频和文本模态，对图像信息进行了补充，进一步的提高了分类精度。

本发明授权一种基于时域信息增强的多模态微视频分类方法在权利要求书中公布了：1.一种基于时域信息增强的多模态微视频分类方法，其特征在于：包括以下步骤： 步骤1：依据场景变换切分待分类微视频，得到多个视频片段； 步骤2：分离视频片段中的视觉模态、音频模态和文本模态信息，并提取视觉模态特征、音频模态特征和文本模态特征； 步骤3：构建最具表达力片段提取模块，基于各视频片段的视觉模态特征和音频模态特征，选取最具表达力的视频片段； 步骤4：构建时域信息增强模块，捕捉最具表达力的视频片段的视觉模态和音频模态的时间域相关信息，得到时域信息增强的特征矩阵； 步骤4.1：针对步骤3中得到的最具表达力的视频片，首先设计三个池化模块，并将视觉模态、音频模态的特征向量分别送入三个池化模块固定该视频片段相应的时间域信息； 所述三个池化模块分别为最大池化模块、标准差池化模块和平均池化模块；最大池化模块用于捕捉该视频片段中出现最少一次的特征；标准差池化模块用于捕捉视频片段中随时间变化最显著的特征；平均池化模块用于捕捉视频中最常出现的特征； 步骤4.2：设计三个1*1维度的卷积块k、u、v，卷积运算在学习卷积核上的参数的同时，达到降低输入特征向量维度的作用；并分别将两份最具表达力的视频片段的特征作为输入矩阵送入到卷积块k、u里，并将步骤4.1中平均池化模块的平均池化结果也送入到卷积块v中，做卷积操作； 步骤4.3：将卷积块k和u的卷积结果做矩阵乘法，求得该视频片段中的每一帧之间的相似度矩阵；将卷积块u和v的结果做矩阵乘法，求得该视频片段中每一帧与视频中最常出现的特征之间的相似度矩阵；将两个相似度矩阵做矩阵加法，并对其做softmax操作；将softmax操作的结果与最具表达力的视频片段的特征矩阵做矩阵乘法，并通过relu激活，得到相似度增强后的特征矩阵； 步骤4.4：将步骤4.3得到的由相似度增强后的特征矩阵与步骤4.1中的标准差池化和最大池化的结果相连，得到时域信息增强后的特征矩阵作为步骤4的时域信息增强模块的整体输出结果； 步骤5：将步骤4中得到的时域信息增强的视觉模态特征、音频模态特征与原始的文本模态特征，共三种模态的特征进行融合，得到最终的分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。