浙江大学马海钢获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于瞳孔尺寸的人机协作视频摘要方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115658963B 。
龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211231244.1,技术领域涉及:G06F16/738;该发明授权一种基于瞳孔尺寸的人机协作视频摘要方法是由马海钢;郑婧;孙一帆设计研发完成,并于2022-10-09向国家知识产权局提交的专利申请。
本一种基于瞳孔尺寸的人机协作视频摘要方法在说明书摘要公布了:本发明公开了一种基于瞳孔尺寸的人机协作视频摘要方法,基于观众自发性的非语言反应和他们在观看视频时的实时注意力变化之间存在密切联系的理论,利用瞳孔光反应可被用于指示视频中更吸引人的部分且数据易于获取的特点,制作了感知驱动的视频数据集,为视频摘要模型学习观众实时的、动态的注意机制提供依据。本发明使用由编码器‑解码器模块、注意力机制模块和关键帧选取模块组成的人机协作的视频摘要框架,它能够有监督地学习视频特征与观众对视频的注意力的关系,最终得到可根据原始视频自动生成摘要的注意驱动的视频摘要模型。
本发明授权一种基于瞳孔尺寸的人机协作视频摘要方法在权利要求书中公布了:1.一种基于瞳孔尺寸的人机协作视频摘要方法,包括如下步骤: 1对被试者进行眼动追踪实验,获取被试者观看的视频文件,并记录观看过程中被试者的实时瞳孔尺寸数据; 2将视频文件分解成视频帧序列,使用预训练的卷积神经网络对视频帧序列进行深度特征提取,得到视频帧深度特征序列X; 3根据所述实时瞳孔尺寸数据通过计算得到注意分数序列AS以及瞳孔扩张信息序列PD; 4根据上述步骤对不同被试者进行多次测试以获取多组样本,并将所有样本分为训练集和测试集,每组样本包括视频帧深度特征序列X、注意分数序列AS以及瞳孔扩张信息序列PD; 5采用GRU搭建基于Encoder-Decoder结构的视频摘要模型,其包括编码器、解码器以及注意力机制模块,其中所述编码器用于对输入的视频帧深度特征序列X进行编码,输出编码结果E;所述注意力机制模块以视频位置编码信息来增强局部注意力,以瞳孔扩张信息序列PD来增强全局注意力,输出注意力权重分数Attention;所述解码器以E与Attention相加后的结果Z作为输入,学习视频帧与注意分数之间的依赖关系,从而预测出与视频帧序列对应的注意分数序列Y; 6将训练集样本中的X和PD作为模型输入,AS作为标签,从而对视频摘要模型进行训练; 7将测试集样本中的X和PD输入至训练好的视频摘要模型中,即可预测得到对应的注意分数序列Y,进而根据该序列选择关键镜头并合成为视频摘要。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。