买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河海大学申请的专利一种基于注意力机制的多模态信号融合情绪识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120477781B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510978627.2，技术领域涉及：A61B5/16；该发明授权一种基于注意力机制的多模态信号融合情绪识别方法是由陈培垠;张涵;蒋晟;王昱设计研发完成，并于2025-07-16向国家知识产权局提交的专利申请。

本一种基于注意力机制的多模态信号融合情绪识别方法在说明书摘要公布了：本发明公开了一种基于注意力机制的多模态信号融合情绪识别方法，本发明的方法步骤如下：首先对生理信号数据预处理；对多通道脑电数据构建通道注意力模块；使用EEGNet分别提取EEG和其他生理信号特征；引入共享‑私有编码器解耦多个模态之间的共享特征和每个模态的私有特征；最后提出跨模态交叉注意力融合机制，实现多模态特征交互和有效融合。本发明结合多模态信号，克服单一模态的局限性，引入共享‑私有特征分离机制与跨模态交叉融合机制，以实现模态协同建模与有效整合，提升情绪识别的准确性与泛化能力。

本发明授权一种基于注意力机制的多模态信号融合情绪识别方法在权利要求书中公布了：1.一种基于注意力机制的多模态信号融合情绪识别方法，其特征在于，该方法包括以下步骤： S1.对多模态生理信号进行统一的预处理，所述多模态生理信号包括脑电信号EEG和其它模态信号EXG，所述预处理是先将多模态生理信号进行基线校准，然后做分段处理，最后使用进行min-max进行归一化操作； S2.构建EEG多通道注意力模块，根据步骤S1预处理后得到的EEG信号，通过注意力机制强化关键通道特征； S3.根据步骤S1和步骤S2的输出，采用卷积神经网络，构建局部时间滤波器、空间滤波器和深度可分离时空卷积核分别对脑电信号EEG和其它模态信号EXG进行特征提取； S4.根据步骤S3特征提取得到EEG和EXG的特征向量，构建共享-私有编码器，显式建模EEG和EXG间的共享特征和模态内的特有性特征； S5.根据步骤S4得到EEG和EXG间的共享特征和各自的特有性特征，利用跨模态的交叉注意力机制，以共享特征为交互媒介，引导EEG和EXG两个模态私有特征在深层结构中进行多轮信息交互，融合双模态特征； S6.采用联合学习方法训练由S1-S5构成的基于注意力机制的多模态信号融合网络，网络用Adam优化器，初始学习率设置为0.001，并用余弦退火动态调整学习率； 步骤S2所述的构建EEG多通道注意力模块，方法如下： S2.1.对时间维度进行全局平均池化，得到每个通道的全局特征，形状为（C,1），其中C是EEG的电极数量； S2.2.用1x1的点卷积对全局特征进行变换，增强全局特征表达能力，并将全局特征展平，得到长度为的通道特征张量； S2.3.通过Softmax函数计算注意力权重，之后通过扩展得到每个样本通道之间的关系矩阵; S2.4.构建单位矩阵,其中是单位矩阵；是可学习的参数矩阵，用于动态调整通道间的关系，接着构建通道间的图关联矩阵：； S2.5.使用1D卷积和ReLU激活函数对全局特征进行非线性变化，增强全局特征表达； S2.6.将关联矩阵与S2.1中的全局特征做矩阵相乘，得到形状同为（C,1）的通道注意力分数向量； S2.7.使用sigmoid函数将通道的注意力分数向量约束在0-1之间，最后通过矩阵乘法实现图卷积操作，对通道特征进行加权融合； 步骤S4的具体方法如下： S4.1.根据模态不变性原理，假设多模态信号具有不变性特征和特有性特征表示，设计如下三个编码器：共享编码器、EEG模态私有编码器、EXG模态私有编码器，分别提取EEG和EXG两个模态的共享，即不变特征、EEG模态的特有性特征和EXG模态的特有性特征，三个编码器的符号分别记作：、、； S4.2.将EEG模态和EXG模态的特征向量拼接，输入至共享编码器，得到模态的共享特征，其中表示将EEG模态和EXG模态的特征向量进行拼接，将EEG的特征向量输入至EEG模态私有编码器得到EEG模态的特有性特征，同理，将EXG的特征向量输入至EXG模态私有编码器得到EXG模态的特有性特征； S4.3.构建重构任务，设置和共享编码器对称的解码器，利用共享特征对EEG模态和EXG模态的特征向量进行重构，重构损失使用MSE损失函数；所述的MSE损失函数计算公式如下：,其中n是y的维度大小，表示重构前的原特征，表示重构特征； S4.4.为了区分共享特征和特有性特征，采用正交性约束损失函数，使得在特征空间中，模态的共享特征和特有性特征尽量互相正交；所述正交性约束损失函数的计算：，其中是矩阵范数，上标T表示转置。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河海大学，其通讯地址为：210024 江苏省南京市鼓楼区西康路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。