买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东交通学院申请的专利基于注意力和图增强文本的多模态情感分析方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119622559B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510167640.X，技术领域涉及：G06F18/2431；该发明授权基于注意力和图增强文本的多模态情感分析方法及系统是由朱振方;任钰郅;裴洪丽;卢强;李萌;孙晓雯;孟静;张广渊;柴建勇;赵大伟;吕蕾;陈竹敏设计研发完成，并于2025-02-17向国家知识产权局提交的专利申请。

本基于注意力和图增强文本的多模态情感分析方法及系统在说明书摘要公布了：本发明提出了基于注意力和图增强文本的多模态情感分析方法及系统，属于多模态情感分析技术领域；方法包括：获取视频数据中的文本特征、图像特征和语音特征并进行预处理；采用自适应跨模态交互模块计算文本特征与图像特征和语音特征之间的注意力权重，获取增强后的文本特征；将增强后的文本特征输入到分层多模态图融合网络中，利用自注意力机制构建邻接矩阵；将邻接矩阵和增强后的文本特征输入到跳跃连接图卷积网络中，获取最终特征矩阵；将所述特征矩阵和邻接矩阵进行结合，利用编码器和分类器获取情感分析的预测结果。解决不同模态之间的上下文对齐方面的不足问题，更加全面和准确的进行情感极性预测。

本发明授权基于注意力和图增强文本的多模态情感分析方法及系统在权利要求书中公布了：1.基于注意力和图增强文本的多模态情感分析方法，其特征在于，包括： 获取视频数据中的文本特征、图像特征和语音特征并进行预处理；其中，对于视频片段X，其由文本序列t、声学序列a和视觉序列v组成； 将预处理后的文本特征、图像特征和语音特征输入到训练好的多模态情感分析模型中，获取情感分析的预测结果； 其中训练好的多模态情感分析模型采用自适应跨模态交互模块计算文本特征与图像特征和语音特征之间的注意力权重，获取增强后的文本特征，包括： 采用自适应跨模态交互模块将所述图像特征和语音特征映射成统一的索引序列；其中，采用自适应跨模态交互模块将所述图像特征和语音特征映射成统一的索引序列的过程包括： 获取视频数据中的图像帧和语音帧，并构建特征集； 采用k-means方法对图像帧和语音帧进行聚类，通过聚类中心，构建视觉词汇和听觉词汇，将图像特征和语音特征通过聚类中心进行词汇化，使得索引序列与文本序列的离散词汇形式相匹配； 将特征序列转化为索引，具体的，给定一个特征序列，需要将其转换为对应的索引序列；对于第i帧的，其索引通过以下方式计算： 式中，为模态n的第i帧对应的聚类中心索引；为找到距离最近的聚类中心的索引j；为计算特征与聚类中心之间的欧氏距离；最终得到索引序列作为模态n的表示； 利用跨模态注意力机制对索引向量进行处理，计算文本特征与图像特征和语音特征之间的注意力权重，获取增强后的文本特征； 其中，利用跨模态注意力机制对索引向量进行处理，计算文本特征与图像特征和语音特征之间的注意力权重，获取增强后的文本特征，包括： 通过嵌入层将离散的索引序列映射为连续的高维向量表示； 其中为嵌入层的输出，为嵌入维度；为嵌入层函数；表示模态n的序列长度； 将文本特征作为查询向量，图像特征和语音特征作为键向量和值向量； 其中，是可学习的参数矩阵，d为每个文本词嵌入的特征维度，分别是键、值向量的维度；是文本序列的长度； 通过获取文本特征和图像特征、语音特征之间的注意力权重和相关性，生成文本特征中每个词汇对每个视频帧或语音帧的注意力权重矩阵： 其中是注意力权重矩阵，分别表示文本特征和图像特征、语音特征之间的注意力分布； 基于注意力权重矩阵，从图像特征和语音特征中提取增强的非语言信息，生成与文本特征对应的非语言嵌入信息； 其中，为非语言嵌入信息； 将所述非语言嵌入信息和文本特征进行融合，获取增强后的文本特征；所述增强后的文本特征为： 式中，为增强后的文本特征；‘;’表示串联操作，Gate;是由全连接层组成的门控机制，为从图像特征提取的与文本特征齐的增强信息；为从语音特征提取的与文本特征对齐的增强信息，用于融合两个模态的信息； 将增强后的文本特征输入到分层多模态图融合网络中，利用自注意力机制构建邻接矩阵； 其中，为表示节点之间关联性的邻接矩阵；是的矩阵转置，点积计算文本特征中词对之间的相似度，即每个词对之间的相似度；是缩放因子，用来稳定计算，防止点积过大；是对矩阵每一行应用操作，保证每行的元素和为1，即得到一个概率分布，表示每一对词之间的关系强度； 将邻接矩阵和增强后的文本特征输入到跳跃连接图卷积网络中，获取最终特征矩阵；其中，所述将邻接矩阵和增强后的文本特征输入到跳跃连接图卷积网络中，获取最终特征矩阵的过程为： 将邻接矩阵和增强后的文本特征作为跳跃连接图卷积网络的初始输入，其中增强后的文本特征作为初始特征矩阵； 使用邻接矩阵对初始特征矩阵进行加权聚合，聚合后的特征矩阵表示每个节点及其邻居的加权平均特征； 采用跳跃连接将输入特征矩阵与变换后的特征矩阵相加，采用ReLU激活函数获取最终特征矩阵；具体的，利用跳跃连接图卷积网络进行多层次的信息聚合，每一层的图卷积网络将节点特征与邻接矩阵进行结合；将邻接矩阵和增强后的文本特征作为跳跃连接图卷积网络的初始输入，令，则对于第层的跳跃连接图卷积网络： 式中，A为邻接矩阵；是第i层的特征矩阵；是第层的可学习权重矩阵；ReLU是激活函数；跳跃连接项用于保留原始特征信息； 将所述特征矩阵和邻接矩阵进行结合，利用编码器和分类器获取情感分析的预测结果，具体的，将所述特征矩阵和邻接矩阵进行结合，利用编码器和分类器获取情感分析的预测结果的过程为： 采用函数对最终特征矩阵和邻接矩阵进行拼接，获取融合后的特征； 将所述融合后的特征与最初的文本嵌入相加，获取文本增强特征表示； 将所述文本增强特征表示输入到训练好的Transformer编码器和分类器中，获取情感分析的预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东交通学院，其通讯地址为：250000 山东省济南市天桥区交校路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。