买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利一种基于多模态一致性的短视频谣言检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115965810B 。

龙图腾网通过国家知识产权局官网在2026-01-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211555818.0，技术领域涉及：G06V10/764；该发明授权一种基于多模态一致性的短视频谣言检测方法是由林扬豪;曹冬林;游锦鹏;林达真设计研发完成，并于2022-12-06向国家知识产权局提交的专利申请。

本一种基于多模态一致性的短视频谣言检测方法在说明书摘要公布了：一种基于多模态一致性的短视频谣言检测方法，属于自然语言处理领域。针对谣言视频中存在对于主题的曲解和关键帧的篡改的问题，设计一种基于主题和关键帧的短视频谣言分类模型TKCM；TKCM使用聚合网络获取视频的主题特征、使用注意力网络获取视频的关键帧特征，将两者信息输入模态调节机制调整网络对三种模态的重要性关注度，拼接特征进行短视频谣言检测。针对谣言视频存在不一致问题，提出学习不一致信息的方法，将融入主题、关键帧和不一致性信息的方法ICIM一起用来谣言检测。实验结果表明，在短视频谣言数据集上的F1值比常用的视频分类模型有4％～7％的提升。与融入一致性信息之前的模型相比，在F1值上有2.3％的提升。

本发明授权一种基于多模态一致性的短视频谣言检测方法在权利要求书中公布了：1.一种基于多模态一致性的短视频谣言检测方法，其特征在于包括以下步骤： 1建立基于主题和关键帧的短视频谣言分类模型TKCM； 2使用预训练好的各模态特征提取器对单模态特征进行提取，使用聚合网络获取视频的主题特征，使用注意力网络获取视频的关键帧特征，将三种模态输入短视频谣言分类模型TKCM； 所述使用预训练好的各模态特征提取器对单模态特征进行提取的具体步骤为：经过预训练模型获得每种模态的单帧特征向量，将每个模态的单帧聚合起来形成整体的主题特征；同时，使用注意力的方式筛选以获取关键帧；分别采用NeXtVLAD网络和AttentionCluster网络这两种聚合网络获取主题特征和关键帧特征；关键帧特征提取采用注意力机制网络AttentionCluster，它能给相对重要的帧分配更多的权重，主要用于选择视频中的关键帧，并获取三种模态下的关键帧表征；主题特征提取采用NeXtVLAD网络选取聚类中心，然后对视觉、文本和音频进行编码以得到在每个模态下的主题特性表征； 3将各模态的主题特征与关键帧特征输入模态调节机制调整网络对三种模态的重要性关注度，拼接主题特征与关键帧特征，融合多模态信息； 所述三种模态的重要性有所不同，在三种模态进行拼接之前，将三种模态的特征向量各自乘以一个小于或者等于1的超参数，对各个模态的特征向量值进行适当的缩小或相对放大，预先改变三种模态在最终分类器中的主导作用； 4构建一致性数据集，训练模态间一致性检测模型获取一致性信息； 5将主题特征、关键帧特征与一致性信息融合，共同作为短视频谣言检测手段； 所述将主题特征、关键帧特征与一致性信息融合的具体步骤为：将文本-视觉和文本-音频一致性模型嵌入到整体谣言分类框架中，将得到的一致性特征分别通过一个全连接层，然后和TKCM中获取的各模态主题关键帧特征拼接；通过线性层映射至二维空间，进行谣言检测二分任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。