Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 陕西师范大学马苗获国家专利权

陕西师范大学马苗获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉陕西师范大学申请的专利低光照场景下的视频问答方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117095336B

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311246520.6,技术领域涉及:G06V20/40;该发明授权低光照场景下的视频问答方法是由马苗;杨捷;李雨桐;姚超;任杰设计研发完成,并于2023-09-25向国家知识产权局提交的专利申请。

低光照场景下的视频问答方法在说明书摘要公布了:一种低光照场景下的视频问答方法,由视频预处理、增强低光照视频、构建VF‑enhNeXt网络、增强视频特征、训练VF‑enhNeXt网络、验证VF‑enhNeXt网络、测试VF‑enhNeXt网络步骤组成。其中在增强低光照视频的方法中,计算视频帧亮度的平衡值,对调整视频帧整体亮度后平衡值满足设定阈值的视频进行多尺度增强;在增强视频特征的方法中,构建了VF‑enhNeXt网络,使用VF‑enhNeXt网络对视频空间特征进行分割和时空上下文建模,获得能够在低光照场景下的视频问答方法。本发明对视频问答数据集中低光照视频进行视频增强和特征增强,为视频问答模型的输入提供多层次的视频特征表示,可以有效提高视频问答模型在低光照场景下的泛化性能。

本发明授权低光照场景下的视频问答方法在权利要求书中公布了:1.一种低光照场景下的视频问答方法,其特征在于由下述步骤组成: 1视频预处理 采用国际公开的基准数据集NExT-VQA作为视频数据集,按照7:1:2划分为训练集、验证集、测试集,将给定的视频集合V作为输入, V={v1,v2,…,vn}1 对于每一个输入视频vn,n为有限的正整数,采样固定数量的视频片段Pt,Pt∈{P1,P2,...,Pt},t为有限的正整数,用滑动窗口的方式将视频片段Pt划分为固定数量的视频帧 m为有限的正整数,按照式2对视频vn的视频帧进行变暗和添加高斯噪声G: 其中,Im表示预处理后的视频帧,α为变暗的系数,取值为[0.4,0.5]; 2增强低光照视频 1从视频片段Pt随机抽取视频帧,按照式3获得视频帧亮度的平衡值 其中,N表示像素的总数,H,W分别表示视频帧的高度和宽度,x,y分别表示视频帧中像素的位置坐标的横坐标和纵坐标,R,G,B分别表示图像的红色、绿色、蓝色的亮度,δ,为模型参数,δ∈[0.05,0.1], 2按照式4调整视频vi的视频片段Pt中的视频帧Im在位置x,y处的像素值Ix,y: 其中,x,y表示视频帧中像素的位置坐标; 3视频片段Pt满足Tsd为阈值参数,取值为其中lmax和lmin分别表示视频帧亮度的最大值和最小值,通过重复下采样和上采样得到不同尺度的图像,按照式5获得增强后的图像S′: S′=RL5 R=log1+S-Hlog1+S6 其中,L表示视频帧的光照分量,S为采样图像转换为的灰度图像,σ表示高斯函数的方差,x,y表示高斯函数的中心点坐标; 4采用加权平均方法对增强后的图像进行尺度合成,进行直方图均衡化,得到增强后的视频帧I′t和视频片段P′t,I′t∈{I′1,I′2,...,I′m},m为有限的正整数,P′t∈{P′1,P′2,...,P′t},t为有限的正整数; 3构建VF-enhNeXt网络 VF-enhNeXt网络由时序编码模块与第一分支模块、第二分支模块、激活函数层、全连接层3、特征融合模块、推理判断模块依次串联构成;所述的第一分支模块由动态学习残差块1与全连接层1串联构成;所述的第二分支模块由动态学习残差块2与归一化层1、动态学习残差块3、归一化层2、动态学习残差块4、全连接层2依次串联构成; 4增强视频特征 将增强后的视频片段P′t传递给残差卷积神经网络,分别提取视频空间特征和光流运动特征,通过VF-enhNeXt网络增强视频特征如下: 1将视频空间特征沿着时间维度划分为子片段和每个子片段的大小为M为批尺寸大小,T为特征的时间维度,C为通道数,M、T、C取值为有限的正整数; 2使用时序编码模块对每个子片段的时间信息进行编码,复制编码后的子片段,以获得相同的时空特征和并将时空特征和作为第一分支、时空特征和作为第二分支; 3在第一分支中,使用第一分支模块沿着通道维度连接子片段的所有特征,得到第一个分支结果 4在第二分支中,使用第二分支模块叠加时空特征和中相同的时空特征,得到时空特征和沿着通道维度连接时空特征和的所有特征,得到第二个分支结果 5使用Sigmoid函数生成自适应的区分权重 其中d是输入特征的数量,按式8得到增强特征结果Fa: 其中,⊕表示逐元素相加,⊙表示逐元素相乘,Sigmoid·为S型激活函数,Conv1d·为一维卷积,k为卷积核大小; 5训练VF-enhNeXt网络 1构建损失函数 按式10构建损失函数Ls: 其中,K表示候选答案个数,pw与分别表示原视频样本与增强视频样本中不正确选项的得分,pr与分别表示原视频样本与增强视频样本中正确选项的得分; 2训练VF-enhNeXt网络 将训练集的视频空间特征和光流运动特征送入到VF-enhNeXt网络中进行训练,在训练过程中,学习率为γ∈[10-5,10-3],优化器采用Adam优化方法,迭代至损失函数收敛; 6验证VF-enhNeXt网络 将验证集的视频空间特征和光流运动特征输入到训练好的VF-enhNeXt网络中进行验证; 7测试VF-enhNeXt网络 将测试集的视频空间特征和光流运动特征输入到训练好的VF-enhNeXt网络中进行测试,加载保存的权重文件,得到答案。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人陕西师范大学,其通讯地址为:710062 陕西省西安市长安南路199号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。