江西师范大学徐凡获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江西师范大学申请的专利基于数据增强和全局信息融合的多模态谣言检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120046120B 。
龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510519247.2,技术领域涉及:G06F18/25;该发明授权基于数据增强和全局信息融合的多模态谣言检测方法是由徐凡;钟金鹏;鄢克雨;李宏伟设计研发完成,并于2025-04-24向国家知识产权局提交的专利申请。
本基于数据增强和全局信息融合的多模态谣言检测方法在说明书摘要公布了:本发明公开了基于数据增强和全局信息融合的多模态谣言检测方法,包括如下步骤:获取图文新闻数据中的文本嵌入矩阵和图像嵌入矩阵;获取文本嵌入和图像嵌入的频谱特征;对频谱特征进行压缩;对压缩后的频谱特征进行平均池化,并应用一维卷积获取文本和视觉谣言特征的表示;对文本和视觉谣言特征的表示进行逆离散傅里叶变换,得到文本和图像的空间域信息,对空间域信息进行加权求和,得到最终多模态表示,对最终多模态表示进行分类预测;本发明结合频谱压缩与EMA视觉增强策略,有效抑制跨模态频谱分布差异,在特征提取阶段,利用频域滤波器组进行频谱压缩,揭示了每个模态中的潜在特征模式,更有效地提升谣言检测的性能。
本发明授权基于数据增强和全局信息融合的多模态谣言检测方法在权利要求书中公布了:1.基于数据增强和全局信息融合的多模态谣言检测方法,其特征在于,包括如下步骤: 步骤S1:构建数据集,数据集内包含若干图文新闻数据;图文新闻数据包括文本内容和图像; 步骤S2:获取图文新闻数据中的文本嵌入矩阵和图像嵌入矩阵; 步骤S3:获取文本嵌入矩阵的频谱特征和图像嵌入矩阵的频谱特征; 步骤S4:对文本嵌入矩阵的频谱特征和图像嵌入矩阵的频谱特征进行压缩; 步骤S5:对压缩后的文本嵌入矩阵的频谱特征和图像嵌入矩阵的频谱特征进行强化,得到强化文本频谱特征表示和强化图像频谱特征表示; 步骤S6:对强化文本频谱特征表示和强化图像频谱特征表示进行逆离散傅里叶变换,得到文本的空间域信息以及图像的空间域信息; 步骤S7:对文本的空间域信息以及图像的空间域信息进行加权求和,得到最终多模态表示,将最终多模态表示输入全连接层来进行分类预测; 步骤S3的具体过程为: 步骤S3.1:采用Sigmoid激活函数自适应地对文本嵌入矩阵进行权重调整,将权重调整后的文本嵌入矩阵与原文本嵌入矩阵进行融合,得到文本特征表示: ; 式中,表示Sigmoid激活函数;表示Hadamard积; 采用离散傅里叶变换提取文本特征表示的频谱特征,即文本嵌入矩阵的频谱特征,表示为: ; 式中,为文本内容中第个词的文本特征表示;表示在频率为处的频谱值,表示频率索引;表示虚数单位;表示自然对数的底数;表示文本内容中词的长度; 步骤S3.2:采用EMA模块对图像嵌入矩阵进行优化处理,EMA模块首先会将沿着通道维度划分为个子特征图,每个子特征图包含个通道,表示为: ; 式中,表示第个子特征图,表示实数集,和分别表示高度和宽度; 对分别进行水平和垂直方向的平均池化,得到沿高度方向池化后的特征表示以及沿宽度方向池化后的特征表示; 将和进行拼接,并通过一维卷积进行特征融合,得到融合高度和与宽度方向信息的特征表示: ; 式中,表示对特征进行拼接;表示一维卷积操作; 之后将拆分回和,通过Sigmoid函数生成注意力权重,重新校准和,并采用组归一化操作进行处理,得到增强全局特征表示: ; 式中,表示组归一化操作; 对采用三维卷积得到增强的局部特征表示,并通过函数与矩阵乘法运算生成空间注意力权重,表示为: ; 式中,表示平均池化操作; 通过矩阵点乘融合和,得到图像特征表示,表示为: ; 采用离散傅里叶变换提取图像特征表示的频谱特征,即图像嵌入矩阵的频谱特征,表示为: ; 式中,表示在频率为处的频谱值;表示图像的第维的特征表示;为图像的空间维度; 步骤S4的具体过程为:为文本嵌入矩阵和图像嵌入矩阵的频谱特征引入一个滤波器组来压缩不同模态的频谱成分,表示为: ; 式中,表示压缩后的文本嵌入矩阵和图像嵌入矩阵的频谱特征,表示压缩后的,表示压缩后的;为的长度;为滤波器的数量;表示第个滤波器。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江西师范大学,其通讯地址为:330000 江西省南昌市高新技术开发区紫阳大道99号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。