买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉吉林大学申请的专利一种基于多模态融合的残疾人情感状态判断方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120616533B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511130970.8，技术领域涉及：A61B5/16；该发明授权一种基于多模态融合的残疾人情感状态判断方法是由康辉;林鸿羽;李冠锦;林栩;莫倩雨;胡楠设计研发完成，并于2025-08-13向国家知识产权局提交的专利申请。

本一种基于多模态融合的残疾人情感状态判断方法在说明书摘要公布了：本发明公开了一种基于多模态融合的残疾人情感状态判断方法，属于多模态融合技术领域，包括：步骤一、通过传感器获取用户的音频、视频与生理信号原始数据；对音频、视频与生理信号数据进行预处理；步骤二、识别原始数据，提取得到音频特征数据、视觉特征数据、生理信号特征数据；步骤三、将所述音频特征数据、视觉特征数据、生理信号特征数据应用模态解耦合策略，实现对模态一致性与异质性的学习；步骤四、将分离出的模态特定特征通过自注意力机制进行融合，基于多模态特征来进行情感识别，最终得到情绪变化识别结果。基于多模态信息对情感状态进行判断，提升准确率。

本发明授权一种基于多模态融合的残疾人情感状态判断方法在权利要求书中公布了：1.一种基于多模态融合的残疾人情感状态判断方法，其特征在于，包括： 步骤一、通过传感器获取用户的音频、视频与生理信号原始数据；对音频、视频与生理信号数据进行预处理； 所述步骤一包括： 对于音频数据，预处理过程包括：将每个音频描述符划分为t个时间段，使其符合卷积神经网络模型的输入要求； 对于图像数据，预处理过程包括：将视频分成t个部分并从每个段随机采样k个连续帧的短片段，将t个短片段作为整个视频的数据表示，使其符合三维卷积神经网络模型的输入要求； 其中，每个片段有k个连续帧； 对于心电数据，预处理过程包括：将原始数据使用小波分解和重建法进行心电滤波，再通过R峰定位过滤出R-R心率信号； 对于皮肤电数据，预处理过程包括：将原始数据通过小波去噪滤除噪声；将生理信号批量进行归一化处理； 步骤二、识别原始数据，提取得到音频特征数据、视觉特征数据、生理信号特征数据； 其中，音频特征包括语音的时间信息，视觉特征数据包括人脸图像，生理信号数据包括心率及皮肤电反应数据； 所述步骤二包括： 基于2D-CNN神经网络模型，结合注意力机制提取音频特征； 音频特征采用以梅尔频率倒谱系数为主； 基于3D-CNN神经网络模型对输入的视频帧进行视频帧特征提取； 提取出的音频特征进入时间注意力模块，提取出的视频帧特征进入空间注意力模块、通道注意力模块以及时间注意力模块中： 在空间注意力模块中，输入特征先经过Conv1d卷积层，再经全连接层处理后，生成空间维度上的相关性特征，通过softmax函数将注意力权重归一化，并应用到原始空间特征，生成加权的空间特征； 在通道注意力模块中，将视频帧特征矩阵转置为通道特征矩阵，其中空间维度与通道维度互换； 输入特征先经过Conv1d卷积层，再经全连接层处理后，生成通道维度上的相关性特征；通过softmax函数将注意力权重归一化，并基于原始通道特征，生成加权的通道特征； 经通道注意力模块输出的视频特征先通过池化层进行空间平均池化，得到时序特征序列； 输入特征先经过Conv1d卷积层，再经全连接层处理后，生成时间维度上的相关性特征，将特征通过ReLU激活函数计算出时间注意力权重，并与原始特征进行加权融合，得到时间加权后的特征； 进行平均池化，降低特征维度，同时平滑特征信息； 基于1D-CNN和LSTM对输入的生理信号进行特征提取； ； ； 其中，为第t个时间步的生理信号原始特征，R为1D-CNN感受野，即卷积核覆盖的时间步数，为1D-CNN卷积核参数，b为偏置，为1D-CNN在第t个时间步经激活函数后的输出，为LSTM在第t个时间步的隐藏状态，为第t-1个时间步的隐藏状态，用于捕捉生理信号的时序依赖关系； 在各自的时间注意力模块中，输入特征经过Conv1d卷积层提取局部时序模式，然后通过全连接层生成时间维度上的相关性特征，再使用ReLU激活函数计算时间注意力权重，并与原始特征加权融合，生成时间加权后的特征表示； 进行平均池化，以降低特征维度，同时平滑特征信息； 将来自不同生理信号的特征进行级联融合，形成联合特征表示； 联合特征输入到全连接层进行进一步处理，生成最终的生理情感特征； 步骤三、将所述音频特征数据、视觉特征数据、生理信号特征数据应用模态解耦合策略，实现对模态一致性与异质性的学习； 步骤四、将不同模态的特征通过注意力机制进行融合，基于多模态特征来进行情感识别，最终得到情绪变化识别结果； 将情感分为：中性，冷静，高兴，悲伤，愤怒，恐惧，厌恶及惊讶八种情绪。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人吉林大学，其通讯地址为：130012 吉林省长春市朝阳区前进大街2699号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。