电子科技大学李宏亮获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉电子科技大学申请的专利一种基于第一视角高动态长视频的注视谱预测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119600501B 。
龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411578060.1,技术领域涉及:G06V20/40;该发明授权一种基于第一视角高动态长视频的注视谱预测方法是由李宏亮;熊汇雨;王岚晓;邱荷茜;邱奔流;戴瑀;孟凡满;许林峰;吴庆波设计研发完成,并于2024-11-06向国家知识产权局提交的专利申请。
本一种基于第一视角高动态长视频的注视谱预测方法在说明书摘要公布了:本发明公开了一种基于第一视角高动态长视频的注视谱估计方法,属于图像处理领域。本发明的注视谱预测方法通过三个创新模块有效解决了现有技术中的存在的长时间视频中时序信息丢失、局部与全局信息融合不足,以及静态掩码难以适应动态场景变化等关键问题。增强型长时记忆编码器通过多尺度注意力和层次化记忆机制,有效编码长时间视频,解决了在长时依赖下信息丢失和冗余的问题,确保时序信息的完整性;高通全局‑局部信息聚合模块通过设计跨层动态信息传递通道,使全局背景与局部细节在多层网络中有效结合,增强了复杂动态场景下的注视谱预测能力;动态掩码融合模块采用自适应机制,能够实时调整掩码权重,解决静态注意力无法应对快速变化背景的问题,提升模型的灵活性与准确性。
本发明授权一种基于第一视角高动态长视频的注视谱预测方法在权利要求书中公布了:1.一种基于第一视角高动态长视频的注视谱估计方法,该方法包括:可视化令牌嵌入、增强型长时记忆编码器、高通全局-局部信息聚合模块、动态掩码融合模块、解码器; 第1步:所述可视化令牌嵌入的具体方法为:将输入的视频序列X划分为不重叠的小块sT×sH×sW,视频序列包括T个时间段,维度为H×W;然后,通过一个线性映射函数将每个小块映射到D维向量空间中;通过上述操作,生成了个局部视觉令牌;在生成的局部视觉令牌中,加入可学习的位置嵌入以增强每个局部视觉令牌的时空位置信息: Li=fXi+Ei 其中,Li是第i个局部视觉令牌,fXi是从第i个小块中提取的特征,Ei表示第i个位子嵌入; 全局视觉令牌通过对局部视觉令牌的下采样生成,在局部视觉令牌上使用最大池化,以压缩局部特征为全局特征;使用一系列卷积层对局部视觉令牌进行下采样,逐步生成全局视觉令牌G: G=ConvMaxPoolL L表示全局视令牌; 第2步:使用的增强型长时记忆机制结合从可视化令牌嵌入生成的局部和全局视觉令牌,采用多层Transformer架构,引入记忆机制来处理长时间高动态视频中的复杂时序依赖;该机制能够通过有效存储和处理历史信息来捕捉用户的注视谱; 第3步:高通全局-局部信息聚合模块是由全局-局部关联注意力和HighwayMLP两部分设计构成的;该模块通过计算局部特征与全局特征之间的相关性权重,选择性地增强有助于注视谱预测的部分,同时抑制背景噪声;通过计算局部特征与全局特征的相关性,将局部特征选择性地与全局特征融合; 第4步:所述动态掩码融合模块的具体方法为: 动态掩码融合模块用于自适应整合增强型长时记忆编码器的输出特征Zmem和高通全局-局部信息聚合模块的处理特征HF,以便在复杂动态场景中有效聚焦于最相关的视觉信息;通过计算注意力权重生成掩码矩阵: 其中,WQ和WK为可学习的参数矩阵,用于将输入投影到相同的注意力空间;Sigmoid激活函数确保掩码的取值范围0,1之间;掩码M对两个特征矩阵进行逐元素加权融合,最终得到自适应融合的特征Zfused: Zfused=M⊙Zmem+1-M⊙HF 其中,⊙表示逐元素相乘,掩码M决定了融合特征中来自增强型长时记忆编码器的输出Zmem与高通全局-局部信息聚合模块处理特征HF的权重; 第5步:经过动态掩码融合模块后的特征Zfused输入到Transformer解码器中,用于生成最终的用户凝视点预测; 第6步:最终解码器层输出的特征经过线性映射生成凝视点的预测结果yt。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人电子科技大学,其通讯地址为:611731 四川省成都市高新区(西区)西源大道2006号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励