上海交通大学;咪咕文化科技有限公司宋利获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海交通大学;咪咕文化科技有限公司申请的专利基于多尺度由粗到精变换器网络视频帧率提升方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115393232B 。
龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211108991.6,技术领域涉及:G06T5/30;该发明授权基于多尺度由粗到精变换器网络视频帧率提升方法和系统是由宋利;李琛;张文军;冯亚楠;邢刚设计研发完成,并于2022-09-13向国家知识产权局提交的专利申请。
本基于多尺度由粗到精变换器网络视频帧率提升方法和系统在说明书摘要公布了:本发明提供一种基于多尺度由粗到精变换器网络视频帧率提升方法和系统,包括:采用特征提取网络从输入整数帧中提取特征;第一阶段网络采用粗中间帧估计网络对整数帧特征进行隐式运动估计,获得粗中间帧;第二阶段网络采用特征细化变换器网络将整数帧特征迁徙到粗中间帧的位置,获得精细中间帧;建立粗中间帧和精细中间帧损失函数,对两个损失函数相加进行训练;连续多帧低帧率视频输入训练好的第一阶段网络和第二阶段网络,重建出精细中间帧。本实施例采用两阶段逐级细化的方式进行视频插帧,使用纯时空卷积的方式提取运动信息,以避免预设运动模型来估计光流。同时采用变换器网络,估计整数帧与中间帧的多对一映射来提升特征迁移的鲁棒性。
本发明授权基于多尺度由粗到精变换器网络视频帧率提升方法和系统在权利要求书中公布了:1.一种基于多尺度由粗到精的变换器网络视频帧率提升方法,其特征在于,包括: 采用特征提取网络从输入整数帧中提取整数帧特征; 第一阶段网络采用粗中间帧估计网络对所述整数帧特征进行隐式运动估计,获得粗中间帧; 第二阶段网络采用特征细化变换器网络将所述整数帧特征迁徙到所述粗中间帧的位置进行质量增强,获得精细中间帧; 建立所述粗中间帧损失函数和所述精细中间帧损失函数,并对两个损失函数相加进行训练; 连续多个低帧率视频输入训练好的所述第一阶段网络和所述第二阶段网络,重建出精细中间帧; 所述粗中间帧估计网络为一个纯3D卷积的U形网络,其由三个尺度构成,每一个尺度均由若干个3D卷积层组成,三个尺度按照分辨率降低的顺序分别为精细尺度、中间尺度和粗尺度;所述特征细化变换器网络包括四个变换器块,采用不同的块大小,由大至小变化,用来从粗到精提取不同尺度的关联; 所述第一阶段网络采用粗中间帧估计网络对所述整数帧特征进行隐式运动估计,获得粗中间帧,包括: 将所述三个尺度的整数帧特征输入所述粗中间帧估计网络; 对每个尺度整数帧特征分别采用三层网络进行处理;其中, 第一层为3D卷积层,用来将多个整数帧的特征进行融合; 第二层为3D卷积层,在精细尺度负责特征细化,在中间尺度负责融合当前尺度和精细尺度第一层输出的特征并且细化;在粗尺度负责融合当前尺度和中间尺度第一层输出的特征并且细化; 第三层为一个3D卷积残差块,由两个3D卷积层通过残差连接组成,在粗尺度负责特征细化,在精细尺度负责融合当前尺度和中间尺度第二层输出的特征并且细化,在中间尺度负责融合当前尺度和粗尺度第二层输出的特征并且细化; 将细化后的特征的时间维度展开并且合并到通道维度,去除时间维度,使得特征降维; 将在展开合并后的特征经过三层2D卷积分别进行降维,得到粗中间帧特征并合成粗中间帧,共获得三个尺度的粗中间帧; 所述粗中间帧估计网络中,除了最后一层2D卷积不使用激活层,其他每一层卷积均采用LeakyReLU激活函数,即在线性整流层ReLU的基础上对负值施加一个非零斜率; 所述第二阶段网络采用特征细化变换器网络将所述整数帧特征迁徙到所述粗中间帧的位置进行质量增强,获得精细中间帧,包括: 所述三个尺度的粗中间帧和整数帧特征作为所述第二阶段网络的输入; 对所述每个尺度的粗中间帧,采用4个连续的变换器块将相应尺度的所述整数帧特征迁移到粗中间帧位置以增强粗中间帧特征的质量; 经过变换器块处理后的粗中间帧特征经过由三个残差密集连接块组成的帧合成模块,进行特征聚合,获得精细中间帧。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海交通大学;咪咕文化科技有限公司,其通讯地址为:200240 上海市闵行区东川路800号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励