中国人民大学李锡荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国人民大学申请的专利一种基于多粒度知识蒸馏的跨模态视频检索方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116910306B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310847299.3,技术领域涉及:G06F16/783;该发明授权一种基于多粒度知识蒸馏的跨模态视频检索方法及系统是由李锡荣;赵瑞祥;田凯彬设计研发完成,并于2023-07-11向国家知识产权局提交的专利申请。
本一种基于多粒度知识蒸馏的跨模态视频检索方法及系统在说明书摘要公布了:本发明涉及一种基于多粒度知识蒸馏的跨模态视频检索方法及系统,其特征在于,该方法包括:确定待查询的文本;将待查询的文本输入至预先输入视频的学生模型内,输出对应的若干视频;所述学生模型为教师模型采用多粒度教学训练算法训练得到的,本发明在保留学生模型较低的计算和存储开销的同时,缩小了学生模型和教师模型之间的检索精度差距,可以广泛应用于跨模态视频检索领域中。
本发明授权一种基于多粒度知识蒸馏的跨模态视频检索方法及系统在权利要求书中公布了:1.一种基于多粒度知识蒸馏的跨模态视频检索方法,其特征在于,包括: 确定待查询的文本; 将待查询的文本输入至预先输入视频的学生模型内,输出对应的若干视频; 所述学生模型为教师模型采用多粒度教学训练算法训练得到的; 所述学生模型的构建过程为: 基于CLIP4Clip模型,构建学生模型; 基于CLIP的文本视频检索模型,构建教师模型; 获取视频文本对数据作为训练集,选定教师模型的参数,并设置迭代次数; 将训练集输入至构建的学生模型和教师模型中,教师模型自动产生监督信号用于指导学生模型的训练,学生模型通过反向传播进行迭代优化,得到训练好的学生模型; 将视频库内的视频批量输入至预先构建的学生模型内,每一视频均产生一个固定长度的视频级特征; 所述将训练集输入至构建的学生模型和教师模型中,教师模型自动产生监督信号用于指导学生模型的训练,学生模型通过反向传播进行迭代优化,得到训练好的学生模型,包括: 采用训练集对构建的教师模型进行训练,得到训练好的教师模型; 采用多粒度教学训练算法,教师模型自动产生细粒度教学损失和粗粒度教学损失两种监督信号用于指导学生模型的训练,学生模型通过反向传播进行迭代优化,得到训练好的学生模型; 所述采用多粒度教学训练算法,教师模型自动产生细粒度教学损失和粗粒度教学损失两种监督信号用于指导学生模型的训练,学生模型通过反向传播进行迭代优化,得到训练好的学生模型,包括: 给定一组视频文本对数据,教师模型给出关于文本的视频级相关度得分和帧级相关度得分,学生模型给出文本特征向量与视频级特征之间的余弦相似度和非负权重向量; 计算教师模型给出的视频级相关度得分与学生模型给出的余弦相似度之间的粗粒度教学损失; 计算教师模型给出的帧级相关度得分与学生模型给出的非负权重向量的细粒度教学损失; 基于学生模型给出的余弦相似度,计算对称InfoNCE对比学习损失; 采用反向传播算法,根据得到的粗粒度教学损失、细粒度教学损失和InfoNCE对比学习损失,对学生模型的参数进行迭代优化。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国人民大学,其通讯地址为:100872 北京市海淀区中关村大街59号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励