西安电子科技大学王笛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利基于多维度视频信息交互的视频时刻检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118349702B 。
龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410529125.7,技术领域涉及:G06F16/783;该发明授权基于多维度视频信息交互的视频时刻检索方法是由王笛;余佑生;王泉;万波;罗雪梅;王义峰;钟昊迪;李少峰;赵辉;潘蓉设计研发完成,并于2024-04-29向国家知识产权局提交的专利申请。
本基于多维度视频信息交互的视频时刻检索方法在说明书摘要公布了:本发明公开了一种基于多维度视频信息交互的视频时刻检索方法,主要解决现有技术难以提取视频中多样性定位内容导致跨模态对齐困难和检索不精确的问题。其实现方案为:使用公开的视频时刻检索数据集构建训练集;构建包括文本特征提取模块、视频特征提取模块、多维度二维时序特征图生成模块、场景分割候选时刻表示增强模块、跨模态交互和时刻检索模块的视频时刻检索网络;利用训练集通过梯度下降法对视频时刻检索网络进行训练;利用训练好的网络前向计算完成文本相对应的视频时刻的检索。本发明通过多维度视频信息交互,构建多维度二维时序特征图并增强特征表示,促进了跨模态语义匹配,提高了模型的检索性能,可用于智慧教育和安全监控。
本发明授权基于多维度视频信息交互的视频时刻检索方法在权利要求书中公布了:1.一种基于多维度视频信息交互的视频时刻检索方法,其特征在于,包括如下步骤: 1构建视频时刻检索训练集,训练集中的每个样本中包含视频、文本查询、真实时刻标签相对应的三项数据; 2构建视频时刻检索网络: 2a分别通过稀疏采样和池化采样生成两个多维度二维时序特征图和;其中通过稀疏采样生成二维时序特征图,实现如下: 2a1对一个视频时刻片段的开始帧,结束帧以及视频时刻的中间帧进行采样,同时对视频前半部分和后半部分的中间帧进行采样,通过该稀疏采样方式采样视频中的多个连续的动作内容和场景过渡信息,生成候选时刻特征: ; 2a2根据候选时刻特征生成稀疏采样对应的二维时序特征图: ; 其中,表示视频片段数量,和分别表示二维时序特征图中第个视频候选时刻的开始帧和结束帧,表示相加操作,表示二维时序特征图中的第个候选时刻特征,二维时序特征图遍历枚举所有潜在的视频时刻,纵轴和横轴分别表示候选时刻对应的开始和结束时间索引,每个时间块表示视频序列中从时间索引到的候选时刻; 通过池化采样生成二维时序特征图,实现如下: 2a3对一个视频时刻片段进行最大值池化操作生成候选时刻特征: ; 2a4根据候选时刻特征生成池化采样对应的二维时序特征图: ; 其中,和分别表示二维时序特征图中第个视频候选时刻的开始帧和结束帧,表示最大值池化操作,表示二维时序特征图中的第个候选时刻特征; 2b通过场景分割视频片段建立特征图,并对两个多维度二维时序特征图和进行候选时刻特征表示增强,得到增强后的两个多维度二维时序特征图和; 2c选用现有的文本查询特征提取模块和视频特征提取模块进行并联后,再与增强后的两个多维度二维时序特征图、及现有的跨模态交互和时刻检索模块依次级联,组成视频时刻检索网络; 3利用训练集通过梯度下降法对视频时刻检索网络进行训练,得到训练好的视频时刻检索网络; 4将待查询文本及其对应的视频输入到训练好的视频时刻检索网络,通过前向计算完成待查询文本语义相对应的视频时刻片段的检索。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励