买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉成都理工大学;四川连贡数据科技有限公司申请的专利一种基于多模态融合的自然语言视频时刻检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120994873B 。

龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511508968.X，技术领域涉及：G06F16/78；该发明授权一种基于多模态融合的自然语言视频时刻检索方法是由吴媛媛;冯昭天;高杜娟设计研发完成，并于2025-10-22向国家知识产权局提交的专利申请。

本一种基于多模态融合的自然语言视频时刻检索方法在说明书摘要公布了：本发明公开了一种基于多模态融合的自然语言视频时刻检索方法，属于数据识别技术领域，包括步骤：获取用于自然语言视频时刻定位的数据集；构造一通道感知的多尺度时序建模模块MD1；获取一文本编码器；构造一多头解耦式跨模态特征融合模块MD2，构造语义调制门控卷积模块MD3；基于MD1、MD2、文本编码器、MD3构造自然语言时刻检索网络并训练为自然语言时刻检索模型；用于待测视频的自然语言时刻检测。本发明通过MD1能显著增强与查询语义相关的视觉特征响应，通过MD2在多个语义子空间实现跨模态细粒度整合，通过MD3确保候选片段评分高度依赖查询语义，能显著提升定位精度与鲁棒性。

本发明授权一种基于多模态融合的自然语言视频时刻检索方法在权利要求书中公布了：1.一种基于多模态融合的自然语言视频时刻检索方法，其特征在于，包括以下步骤； S1，获取用于自然语言视频时刻定位的数据集，其中每个样本包括视频V、数个带时刻标注的目标片段，与目标片段一一对应的查询文本； S2，构造一通道感知的多尺度时序建模模块MD1，包括预处理单元、改进堆叠卷积单元、二维时序邻接图生成单元； 所述预处理单元用于将视频V划分为N个不重叠片段，将第n个片段进行特征提取并调整维度至dv，得到片段特征，再构成视频特征Fin，，，dv为预设的输出通道数； 所述改进堆叠卷积单元用于输入Fin，输出M个不同尺度的卷积视频特征，其中第m个尺度的卷积视频特征为Fm,out； 所述二维时序邻接图生成单元用于根据Fm,out生成初始二维时序邻接图；再将调整至尺寸与沿通道维度拼接成二维时序邻接图Fm，Fm中位置u,v的点为表示起止时间分别为u、v的候选视频片段； S3，获取一文本编码器，用于输入查询文本，生成单词级文本特征和全局文本特征Tglobal，，Tword,l为查询文本中第l个词的单词级文本特征； S4，构造一多头解耦式跨模态特征融合模块MD2，用于将Fm重塑为二维时序特征，与Tword和Tglobal进行融合，生成融合特征Fm,fused； S5，构造语义调制门控卷积模块MD3； 所述语义调制门控卷积模块用于对形状调整为Nm×Nm×dv，得到重塑邻接图，再根据下式生成动态门控权重G、门控特征Fgated、语义调制门控卷积模块的门控输出特征Fm,SG； ， ,， 式中，ReLU∙为ReLU函数，GAP∙为全局平均池化，Ws、Wv分别为第三权重矩阵和第四权重矩阵，Conv2Dr为膨胀率r的膨胀卷积，； S6，构造自然语言时刻检索网络和损失函数loss，并以最小化loss调整自然语言时刻检索网络参数，得到自然语言时刻检索模型； 所述自然语言时刻检索网络括MD1、文本编码器、MD2、MD3和预测头； 样本的视频V送入MD1、查询文本送入文本编码器，二者输出经MD2、MD3后，得到M个门控输出特征F1,SG~FM,SG，对每个Fm,SG，预测头生成一对应的二维分数图Im,SG，收集Im,SG中有效分数构成集合，其中为Pm中第i个有效分数，Cm为Pm中有效分数总数，将对应的候选视频片段标记为； 所述损失函数为loss根据下式得到： ， 式中，为的监督标签，为与真实时刻的IoU值，当时，，否则； S7，用自然语言时刻检索模型对待识别视频进行检测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都理工大学;四川连贡数据科技有限公司，其通讯地址为：610059 四川省成都市成华区二仙桥东三路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。