买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学;电子科技大学广东电子信息工程研究院申请的专利音视频内容解析方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117274866B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311228160.7，技术领域涉及：G06V20/40；该发明授权音视频内容解析方法及装置是由蒋寻;朱利卿;徐行;汪政;杨阳设计研发完成，并于2023-09-21向国家知识产权局提交的专利申请。

本音视频内容解析方法及装置在说明书摘要公布了：本发明实施例提出一种音视频内容解析方法及装置，属于深度学习领域，对待解析音视频进行拆分、特征提取和特征融合，得到综合视觉特征和听觉特征，将听觉特征和综合视觉特征输入采用弱监督学习进行优化训练得到的解析算法，通过该解析算法，对听觉特征和综合视觉特征进行关于模态的建模和感知预测，得到待解析音视频中含有的动作事件以及每个动作事件所属的类别和模态。本申请的解析算法提出模态感知模块和时序感知模块，以能协同模态和时序进行证据挖掘，从而极大地减少模型对模态分类时产生的伪标签噪声的敏感性，提升模态依赖判定的鲁棒性和时序标注的准确性，并克服弱监督设置下时序标注缺失带来的不确定性问题。

本发明授权音视频内容解析方法及装置在权利要求书中公布了：1.一种音视频内容解析方法，其特征在于，所述方法包括： 获取待解析音视频，对所述待解析音视频进行拆分和特征提取，得到特征信息；其中，所述特征信息包括2D视觉特征、3D视觉特征和听觉特征； 将所述2D视觉特征和所述3D视觉特征进行融合，得到综合视觉特征； 将所述听觉特征和所述综合视觉特征输入预先优化的解析算法；其中，所述解析算法为采用弱监督学习进行优化训练得到的解析算法； 通过所述解析算法，对所述听觉特征和所述综合视觉特征进行关于模态的建模和感知预测，得到解析结果；其中，所述解析结果包括所述待解析音视频中含有的动作事件以及每个动作事件所属的类别和模态，所述模态包括视觉和听觉； 所述解析算法包括模态交互建模模块、模态感知模块和时序感知模块；所述模态交互建模模块包括跨模态注意力交互机制和自注意力交互机制；所述模态感知模块包括混合模态全连接层、模态感知全连接层和加性注意力机制；所述时序感知模块包括前景感知全连接层、背景感知全连接层、音频映射全连接层、视觉映射全连接层、时序感知全连接层和加性注意力机制； 所述通过所述解析算法，对所述听觉特征和所述综合视觉特征进行关于模态的建模和感知预测，得到解析结果的步骤，包括： 通过所述模态交互建模模块，对所述听觉特征和所述综合视觉特征进行模态间建模和模态内建模，得到特征信息；所述特征信息包括单视觉特征、第一混合特征、单音频特征和第二混合特征，所述第一混合特征为视觉引导的混合特征，所述第二混合特征为音频引导的混合特征； 通过所述模态感知模块，对所述特征信息进行模态感知预测，得到模态预测结果；其中，所述模态预测结果包括多个动作事件以及每个动作事件所属的模态； 通过所述时序感知模块，对所述第一混合特征和所述第二混合特征进行感知预测，得到时序预测结果；其中，所述时序预测结果包括多个类别的动作事件以及每个动作事件的发生时间； 合并所述模态预测结果和所述时序预测结果，并进行删重，得到解析结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学;电子科技大学广东电子信息工程研究院，其通讯地址为：611731 四川省成都市高新西区高新区（西区）西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。