郑州大学叶阳东获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉郑州大学申请的专利流形结构的视频时序分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116229321B 。
龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310203565.9,技术领域涉及:G06V20/40;该发明授权流形结构的视频时序分割方法是由叶阳东;张明明;闫小强;孙中川;胡世哲设计研发完成,并于2023-03-05向国家知识产权局提交的专利申请。
本流形结构的视频时序分割方法在说明书摘要公布了:本发明公开了流形结构的视频时序分割方法。该方法包括:根据视频片段的视频帧生成局部流形空间特征;根据所述视频片段的视频帧生成最大化近邻时序特征;根据流形空间特征以及最大化近邻时序特征,进行视频表征的自监督学习。从而实现用于视频时序分割方法,使得长视频中的流形信息以及时序信息在学习过程中被充分挖掘,提高视频时序分割任务的性能。
本发明授权流形结构的视频时序分割方法在权利要求书中公布了:1.流形结构的视频时序分割方法,其特征在于: 步骤1按照预设帧率对原视频进行采样,得到具有时序关系的视频帧集, 包括:采用平均帧采样的方式,按照一定的帧率将视频处理成具有时序关系的视频帧集; 步骤2使用在ImageNet数据集上预训练的ResNet50神经网络,提取所述视频帧集的视觉特征,得到语义特征集X={x1,x2...,xN},其中N为视频帧总数; 步骤3基于滑动窗口方式划分语义特征集X,计算每组子语义特征集的流形结构特征,具体包括: 步骤3-1构建长度为L的滑动窗口,将语义特征集X划分为个子特征集W={W1,W2,…,WnL}; 步骤3-2对于每个子特征集Wi={xi-1*L+1,xi-1*L+2,...,xi-1*L+L},通过流形嵌入生成子特征集Wi的流形特征Mi={mi-1*L+1,mi-1*L+2,…,mi-1*L+L},包括:归一化子特征集Wi中每一个x与其k个近邻之间的距离,使用空间转换的方式将其表示为全局流形的模糊单形集;最后,通过找寻子特征集Wi的拓扑结构来构建紧密匹配的低维向量,得到子特征集Wi的流形特征Mi; 步骤4基于LSTM网络构建动态时序网络包括:近邻域的构建,LSTM时序网络构建,其中: 步骤4-1近邻域的构建,包括: 设定近邻长度LN和近邻数ner,将语义特征集X分为n个长度为LN的近邻距离集其中为t时刻的语义特征xt与其近邻LN内其他视频帧语义特征的距离集合; 按照从小到大的顺序,依次选取距离集合中包含xt的前ner+1个最小距离所对应的近邻帧语义特征,构成近邻域子集语义特征集; 步骤4-2LSTM时序网络的构建,包括: 将近邻域子集语义特征集依次输入到时域长度为T+1的LSTM网络中,得到隐藏层输出{ht-T,ht-T+1,...,ht}; 对隐藏层输出进行最大池化和shortcut操作,得到时序特征 gt=pooling{ht-T,ht-T+1,...,ht}+ht1 步骤5将时序特征gt输入到解码器中得到重构特征zt; zt=Decodergt=σωtgt+b2 其中解码过程由Decoder*表示,σ是Sigmoid函数; 步骤6使用交叉熵函数作为度量标准计算第t时刻的语义特征xt与重构特征zt之间的重构损失: Simxt,zt=Hxt,zt+H1-xt,1-zt3 因此,重构损失为: 步骤7计算时序特征与流形特征之间的流形结构损失,包括 以t时刻的流形特征Mt作为监督信号,对时序特征gt进行优化,包括:构建流形结构特征损失: 步骤8按顺序遍历整个视频帧的语义特征集X,重复以下过程8-1、8-2,直到模型收敛: 步骤8-1通过步骤4至步骤7计算重构损失以及流形结构损失 步骤8-2最小化步骤8-1中的损失,优化动态时序网络中的参数; 使用Adam优化器来优化模型的参数,保留每次运行的梯度,以反向传播的方式,不断优化模型参数; 步骤9锁定模型参数,将视频帧的语义特征集X输入到动态时序网络中,生成为时序特征集G; 步骤10使用K-Means聚类算法对时序特征集G进行聚类划分,聚类中使用的距离公式为: 其中,x为时序特征集G中任意一时刻的时序特征,C为聚类中的某个簇中心,D为x的特征维度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人郑州大学,其通讯地址为:450000 河南省郑州市高新技术开发区科学大道100号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励