Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
专利交易 积分商城 国际服务 IP管家助手 科技果 科技人才 商标交易 会员权益 需求市场 关于龙图腾 更多
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 浙江工业大学雷杰获国家专利权

浙江工业大学雷杰获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉浙江工业大学申请的专利一种基于自主选帧和边缘细化的视频目标分割方法与系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116246068B

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310045053.4,技术领域涉及:G06V10/26;该发明授权一种基于自主选帧和边缘细化的视频目标分割方法与系统是由雷杰;陈舒展;孙国道;梁荣华设计研发完成,并于2023-01-30向国家知识产权局提交的专利申请。

一种基于自主选帧和边缘细化的视频目标分割方法与系统在说明书摘要公布了:一种基于一种自主选帧和边缘细化的视频目标分割方法,包括以下步骤:一开始,用户选择一个想要分割的对象,并简单标记它们的边界。然后,采用通用的视频目标分割算法对目标对象进行分割,并对每一帧的分割质量进行估计。然后,自主选帧模块将分割质量作为输入,向用户推荐最有价值的帧,然后将该帧放入边缘细化模块进行优化。最后,视频目标分割算法、自主选帧模块、边缘细化模块和用户组成一个循环,迭代地优化预测的掩膜,迭代结束后得到最后的目标分割结果。最后将每次分割结果输入到可视分析系统中,将优化的过程可视化。本发明还包括一种基于一种自主选帧和边缘细化的视频目标分割的系统。本发明在分割准确性与时间消耗方面做到良好的平衡。

本发明授权一种基于自主选帧和边缘细化的视频目标分割方法与系统在权利要求书中公布了:1.一种基于自主选帧和边缘细化的视频目标分割方法,包括以下步骤: 1获取视频数据集,并对视频数据集中的每一帧做视觉特征和语义特征提取; 2自主地推荐关键帧;通过得到分割结果的均值和方差来比较推荐策略和随机选择策略的性能且拟设计出奖励函数,让自主选帧模块学习如何推荐关键帧,分析过程如下: 2-1标记关键帧并给出初始分割结果;用户提供一个待分割视频,用户首先选取一个待分割目标,并选择包含该目标的一帧图像进行标注;接下来,使用通用的分割算法对用户提供的视频进行视频目标分割并得出分割结果; 2-2学习推荐帧;设计了一个基于双向长短期记忆的网络来自主学习,该网络的输入为状态,输出为连续的动作,代理的作用是推荐关键帧索引;选用分割结果的质量作为每帧的得分;此外,还考虑每帧历史推荐的次数;因此,状态统计指标定义为公式1: 1 作为掩膜的代理,表示历史推荐,其中下标是最大迭代次数;表示连接运算; 2-3设置奖励函数;为实现最优的结果,根据待分割目标动作的时间序列所得到的性能设计一个目标奖励,直到达到定义的迭代次数;在交互式VOS中,计算每帧对于整体视频序列的价值是很困难的,所以根据动作序列达到的最终性能设计了一个目标奖励,直到达到最大迭代次;学习到的策略比随机选取的平均性能要高;为了得到随机选择策略的性能,首先对每个训练视频序列使用随机选择策略进行次实验;通过比较推荐策略和随机选择策略之间的性能,可以设计相应的奖励函数,所以,提出以下奖励函数公式2: 2 其中表示到最大迭代次数后的奖励指标,表示性能,表示预期平均值,表示方差; 2-4优化奖励函数;当性能大于随机选择策略当平均性能时,公式2中的奖励为正,否则,奖励将是负的;在基于实际场景的实践中发现仅仅使性能优于随机选择策略当平均性能是不够的,只在性能大于+时设置奖励为正,最后的奖励函数为公式3: 3 2-5分割质量评估;为了评估分割质量,使用一个质量评估模块来评估每帧的分割质量;首先根据分割概率映射计算分割目标的边界框;然后,将边界框扩大到倍;为了忽略背景区域,根据放大的边界框裁剪RGB图像对应的概率映射;然后,将剪裁过的RGB图像和概率图串联起来作为分割质量评估模块的输入,得到每个感兴趣对象的分割质量估计; 3优化关键帧的边缘;在通过以上步骤完成关键帧的推荐后,在对此关键帧的掩膜进行边缘优化;有两个关键问题导致低质量的边界分割,首先是输出的低空间分辨率,其次是对象边界周围的像素只占整个图像的一小部分,很难分类;通过细化网络以及提取边缘图像块改善了这两个问题,分析过程如下: 3-1提取边缘图像块;给定一个由自主选帧模块选择出的关键帧的实例掩膜,然后对这个掩膜的边缘进行细化;使用滑动窗口式的方法提取到边缘处的一系列图像块,在掩码边界处密集的分配了一组正方形的边界框,这些边界框的中心区域应覆盖边界像素;因为得到的框仍然包含重叠和冗余,所以进行过滤;接下来将提取到的边缘图像块和掩码块都重塑到同一尺寸,一起放入细化网络; 3-2细化网络;沿着预测的目标掩膜的边界提取并细化了一系列小的边界图像块;细化是通过一个更高分辨率的边界图像块细化网络来完成的;细化网络为每一个提取出来的边界图像块单独地做语义分割;细化网络将各种等级的特征做融合,提高高分辨率的性能;通过增加输入尺寸,边界图像块就可以得到比之前方法更高的分辨率;的边缘细化模块首先沿着预测的目标边界提取一系列小的图像块;在与掩膜融合后,将边界图像块放入细化网络中,细化网络执行语义分割以细化粗糙的边界;随后,将经过优化的掩膜重新组装成一个更高质量的目标掩膜; 3-3重组目标掩膜;在对每个图像块细化以后,需要将它们重组到目标掩膜上面;相邻的图像块会存在重叠的情况,取其平均值作为最终的结果,判断某个像素属于待分割目标还是背景; 4迭代地优化预测的掩码,并将每一次迭代的结果展示在可视化分析系统中;自定义迭代的次数,每次迭代都将进行一次自主选帧,然后将系统推荐得到的关键帧放入边缘细化模块;完成一次迭代后,将每次迭代的特征值,每一帧的得分,每次迭代的平均得分,输入可视分析系统中,通过热力图、柱状图、折线面积图以及视频的逐帧展示模块中,将每次迭代的结果清晰的展现出来。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市拱墅区潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。