买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河海大学申请的专利一种基于类脑反馈交互的多模态融合视频分类方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115588148B 。

龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211048630.7，技术领域涉及：G06V20/40；该发明授权一种基于类脑反馈交互的多模态融合视频分类方法及系统是由姚潇;李浩辰;宋英慧;徐宁;刘小峰设计研发完成，并于2022-08-29向国家知识产权局提交的专利申请。

本一种基于类脑反馈交互的多模态融合视频分类方法及系统在说明书摘要公布了：本发明公开一种基于类脑反馈交互的多模态融合视频分类方法及系统，方法包括：对视频预处理，获得视频中的视觉信息和听觉信息；进行特征提取后输入到基于神经网络架构搜索的多模态融合框架中进行融合得到融合信息表示；将融合信息表示、视觉信息和听觉信息输入基于人脑在颞上沟进行视听觉信息整合后对单感觉皮层产生的反馈调制效应构建的反馈模块，输出多模态融合的视觉信息和多模态融合的听觉信息并分别经过全连接层得到每种分类的置信度；将每种分类的置信度，输入DS决策融合模块，得到最终的分类结果。本发明借鉴人脑感知外界环境的处理方式，从各种模态感知信息并实现多感觉整合，有效提高了对视频中的人物表情进行识别分类的准确率。

本发明授权一种基于类脑反馈交互的多模态融合视频分类方法及系统在权利要求书中公布了：1.一种基于类脑反馈交互的多模态融合视频分类方法，其特征在于，包括： 接收输入的视频并进行预处理，获得视频中的视觉信息和听觉信息； 对视觉信息和听觉信息分别进行特征提取，然后输入到基于神经网络架构搜索的多模态融合框架中进行融合得到融合信息表示； 将融合信息表示、视觉信息和听觉信息输入基于人脑在颞上沟进行视听觉信息整合后对单感觉皮层产生的反馈调制效应构建的反馈模块，输出多模态融合的视觉信息和多模态融合的听觉信息； 将多模态融合的视觉信息和多模态融合的听觉信息分别经过全连接层得到每种分类的置信度； 将每种分类的置信度，输入DS决策融合模块，得到最终的分类结果； 其中，基于人脑在颞上沟进行视听觉信息整合后对单感觉皮层产生的反馈调制效应构建的反馈模块，包括两个完全相同的跨模交互器，所述跨模交互器的构建方法包括： 定义查询矩阵，键矩阵，值矩阵，其中，，都是权重；这样从到的潜在跨模适应， 5 其中，与具有相同的序列长度，同时它也表示在的特征空间中；的缩放计算了一个分数矩阵，其第项计算了模态中第i个时间步到模态的第j个时间步的注意力；因此，的第i个时间步长是的加权汇总，权重由中的第i行决定； 在跨模态注意力计算中，增加残差连接，然后，注入另一个位置的前馈子层；每个跨模态注意块直接从低级特征序列适应，其中，位置全连接前馈网络作用于通道维度，将每个位置的注意力结果映射到一个更大维度的特征空间，然后引入非线性进行筛选，最后恢复回原始维度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河海大学，其通讯地址为：210098 江苏省南京市江宁开发区佛城西路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。