买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉宁波大学申请的专利一种噪声鲁棒的多模态视频高光检测学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117058571B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310850066.9，技术领域涉及：G06V20/40；该发明授权一种噪声鲁棒的多模态视频高光检测学习方法是由蒋银辉;罗思惠;郭立君;张荣设计研发完成，并于2023-07-12向国家知识产权局提交的专利申请。

本一种噪声鲁棒的多模态视频高光检测学习方法在说明书摘要公布了：本发明涉及一种噪声鲁棒的多模态视频高光检测学习方法，该方法通过将视频的视觉和音频两种多模态表征信息作为输入，接着通过线性映射将高维特征压缩到一个低维度特征，以此来减少参数量和显存占用，同时提高运行速度，然后利用视频片段内部全局‑局部空间特征信息和视频片段与片段之间时序特征信息相结合，来增强模态表征信息；接着通过多模态交互融合模块，对视觉和音频两种模态表征信息进行交互融合；最后，构建目标损失函数对网络进行优化；该方法能够有效地提高视频高光检测的精度和鲁棒性，应用范围广泛，特别适用于含噪标签数据的视频高光检测。

本发明授权一种噪声鲁棒的多模态视频高光检测学习方法在权利要求书中公布了：1.一种噪声鲁棒的多模态视频高光检测学习方法，其特征在于：该方法包括下列步骤： S1、将一个视频分成若干个视频片段，针对每个视频片段，提取其视觉特征和音频特征； S2、将步骤S1提取的视觉特征和音频特征经由线性映射全连接层统一压缩到相同维度的低维视觉特征和低维音频特征； S3、采用全局-局部增强双变换器模块分别对低维视觉特征的模态表征信息和低维音频特征的模态表征信息进行增强，得到增强后的视觉模态表征和增强后的音频模态表征，其中，表示第个视频片段，表示总的视频片段数； S4、采用多模态交互融合模块对增强后的视觉模态表征和增强后的音频模态表征进行交互融合，输出交互后的视觉模态表征和交互后的音频模态表征，并由和经融合输出多模态表征； S5、根据视觉模态表征预测每个视觉特征的显著性分数，得到每个视觉特征对应的显著性分数A1，根据得到的显著性分数A1来对每个视觉特征的损失值进行归一化排序，设定干净样本比率，根据比率选择损失值小的视觉特征组成视觉干净样本数据集；根据音频模态表征预测每个音频特征的显著性分数，得到每个音频特征对应的显著性分数A2，根据得到的显著性分数A2来对每个音频特征的损失值进行归一化排序，设定干净样本比率，根据比率选择出损失值小的音频特征组成音频干净样本数据集； S6、根据多模态表征预测多模态特征的显著性分数，得到显著性分数A3；采用筛选得到的视觉干净样本数据集与音频干净样本数据集的并集作为多模态表征的训练样本，对多模态表征进行训练，得到训练后的多模态表征网络；采用筛选得到的视觉干净样本数据集作为视觉模态表征的训练样本，对视觉模态表征进行训练，得到训练后的视觉模态表征网络；采用筛选得到的音频干净样本数据集作为音频模态表征的训练样本，对音频模态表征进行训练，得到训练后的音频模态表征网络； S7、根据步骤S5得到的三路显著性分数A1、A2以及A3构建目标损失函数，由所述目标损失函数对训练后的视觉模态表征网络、训练后的音频模态表征网络及训练后的多模态表征网络进行优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人宁波大学，其通讯地址为：315211 浙江省宁波市江北区风华路818号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。