买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉无锡慧仁创欣智能科技有限公司申请的专利一种基于多模态融合的情感分析方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119272224B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411303810.4，技术领域涉及：G06F18/25；该发明授权一种基于多模态融合的情感分析方法及系统是由李仁朋设计研发完成，并于2024-09-19向国家知识产权局提交的专利申请。

本一种基于多模态融合的情感分析方法及系统在说明书摘要公布了：本发明公开了一种基于多模态融合的情感分析方法及系统，包括如下步骤：S1、获取多模态数据和每个模态的初始特征表示；S2、将各模态的初始特征表示输入多头注意力机制进行初步融合，生成初级融合特征；S3、结合双向长短期记忆网络和多尺度因果卷积网络，生成时序特征；S4、利用多层图神经网络构建模态间的层次化依赖关系网络，形成全局上下文感知特征表示；S5、动态生成并调整各模态的融合权重；S6、利用多层全连接网络和多任务学习框架联合分类与回归输出，生成情感状态的多维度表达；S7、通过迁移学习和个性化建模技术，将群体情感模型迁移到个体用户的特定情感分析中。本发明利用多模态融合和自适应权重调整，实现高精度、多维度的情感分析。

本发明授权一种基于多模态融合的情感分析方法及系统在权利要求书中公布了：1.一种基于多模态融合的情感分析方法，其特征在于，包括如下步骤： S1、获取多模态数据，包括面部表情、语音、脑电信号和视觉脉搏信号，并获得每个模态的初始特征表示； S2、第一层融合：将各模态的初始特征表示输入多头注意力机制进行初步融合，并利用自适应加权方法对每个模态的初始特征表示进行加权融合，生成初级融合特征； S3、第二层融合：基于初级融合特征，结合双向长短期记忆网络和多尺度因果卷积网络，从双向时间维度捕获多模态特征的动态关系，生成时序特征； S4、第三层融合：基于时序特征，利用多层图神经网络构建模态间的层次化依赖关系网络，引入上下文感知注意力机制，形成全局上下文感知特征表示； S5、设计动态权重生成器模块，基于全局上下文感知特征表示，通过自适应注意力机制和条件生成对抗网络进行协同，动态生成并调整各模态的融合权重； S6、将动态调整后的模态特征进行最终融合，利用多层全连接网络和多任务学习框架联合分类与回归输出，生成情感状态的多维度表达，包括情感分类结果和多维情感值； S7、通过迁移学习和个性化建模技术，将群体情感模型迁移到个体用户的特定情感分析中，并持续优化个体化情感识别的精度； 所述S3具体包括： S31、在带有注意力机制的双向长短期记忆网络中，设定输入序列为＝[x1,x2,…,xT]，其中T表示时间步长，xt表示初级融合特征在第t个时间步的表示，通过双向长短期记忆网络单元，分别计算正向和反向的隐状态序列： 其中，LSTM表示长短期记忆网络，表示第t个时间步的正向隐状态，表示第t个时间步的反向隐状态，表示第t-1个时间步的正向隐状态，表示第t+1个时间步的反向隐状态； S32、将正向和反向的隐状态输入注意力机制，生成注意力权重αt： 其中，Wa表示可学习的权重矩阵，ba表示可学习的偏置向量，表示正向和反向隐状态的拼接，T表示时间步数，exp表示指数函数，tanh表示双曲正切激活函数； S33、通过注意力权重对隐状态进行加权求和，得到时间序列的上下文表示： 其中，Ht表示第t个时间步的注意力增强的双向特征表示； S34、将双向长短期记忆网络的输出H＝[H1,H2,…,HT]作为输入，输入到多尺度因果卷积网络中，在多尺度因果卷积网络中，设定不同尺度的卷积核大小为k1,k2,…,kn和扩张因子为ds，通过多尺度卷积和门控机制进行处理： 其中，Yt表示多尺度因果卷积网络在第t个时间步的输出，ks表示示第s个尺度的卷积核大小，m表示多尺度卷积的数量，表示第s个尺度的卷积核权重，ds表示第s个尺度的扩张因子，g·表示门控机制函数； S35、利用多尺度因果卷积网络的输出，生成多尺度时序特征： F时序＝ConcatY1,Y2,,YT； 其中，F时序表示多模态特征的时序表示，Yt表示多尺度因果卷积网络在第t个时间步的输出； S36、通过对F时序进行多层非线性映射和归一化处理，进一步整合时间序列中的多尺度复杂关系，生成最终的时序特征； 所述S4具体包括： S41、将生成的时序特征输入到多层图神经网络中，设定图神经网络的节点为各模态的时序特征表示，构建模态间的层次化依赖关系网络，定义邻接矩阵A表示模态间的连接关系，设定每个模态节点的初始特征为其中i表示节点编号； S42、在每一层图神经网络中，利用节点间的传播机制更新节点特征： 其中，表示第l+1层中节点i的特征，Ni表示与节点i相连的节点集合，cij表示归一化系数，Wl表示第l层的权重系数，表示第l层的节点j的特征，bl表示偏置向量，σ表示激活函数； S43、将图神经网络的最终输出作为全局特征表示，整合所有模态节点的特征，形成融合特征H融合 其中，H融合表示全局上下文感知特征表示，N表示模态节点的总数； S44、将H融合输入到上下文感知注意力机制中，获取全局上下文信息，设定上下文向量为C，通过注意力机制计算各模态特征的重要性权重βi： 其中，Wc和bc表示注意力机制中的可学习参数，表示全局特征和上下文向量的拼接，exp表示指数函数，tanh表示双曲正切激活函数； S45、对全局特征表示进行加权融合，生成全局上下文感知特征表示H上下文： 所述S5具体包括： S51、将S45步骤中生成的全局上下文感知特征表示H上下文以及各模态特征输入到多头自注意力机制中： 其中，Attention表示多头自注意力机制，Wq、Wk和Wv表示可学习的线性变换矩阵，Qi表示第i个模态的查询表示，Ki表示第i个模态的键表示，Vi表示第i个模态的第i个模态的值表示，dk表示键的维度，softmax表示归一化函数，通过多头自注意力机制，生成每个模态的加权表示H′i； S52、将多头自注意力机制的输出H′i输入到多尺度条件生成对抗网络中，设定多尺度条件生成对抗网络的生成器为多尺度网络，在不同尺度上对特征进行动态融合权重生成： 其中，Gs表示第s个尺度的生成器函数，表示第s个尺度生成器的参数集，表示第s个尺度下的动态权重，S表示尺度数量，σ表示激活函数； S53、将生成的多尺度动态融合权重θi输入到多尺度条件生成对抗网络的判别器中，判别器对多尺度动态权重和真实权重进行判别，利用多尺度损失函数对判别器进行优化： 其中，LD表示判别器的损失，E表示数学期望，Ds表示第s个尺度的判别器函数，γi表示真实权重； S54、更新生成器参数，生成器的多尺度损失函数为： 其中，LG表示生成器的损失； S55、输出最终的多尺度动态融合权重； 所述S6具体包括： S61、将生成的多尺度动态融合权重作用于各模态的特征表示通过非线性组合和自适应权重机制生成融合特征H融合： 其中，σ表示激活函数，θi表示第i个模态的多尺度动态融合权重，表示第i个模态表示的非线性变换函数，表示模态特征之间的双向交互函数，表示自适应权重，b融合表示融合偏置向量，N表示模态节点的总数N表示模态节点的总数； S62、将融合后的特征H融合输入到联合分类与回归模块中，对情感状态进行联合表达： 其中，O表示情感状态的联合输出，softmax表示归一化函数，Wc和bc分别表示分类任务中的权重矩阵和偏置，Ws和bs分别表示分类任务中的预处理权重矩阵和偏置，Wr和br分别表示回归任务中的权重矩阵和偏置，Wt和bt分别表示回归任务中的预处理权重矩阵和偏置，C表示分类条件，R表示回归条件。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人无锡慧仁创欣智能科技有限公司，其通讯地址为：214124 江苏省无锡市经济开发区新园路富力中心C5(7-8)2-3层58；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。