买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利一种用于陪伴机器人的多模态情感识别方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113947127B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111079583.8，技术领域涉及：G06F18/27；该发明授权一种用于陪伴机器人的多模态情感识别方法和系统是由张立华;黄帅;杨鼎康;王顺利;邝昊鹏设计研发完成，并于2021-09-15向国家知识产权局提交的专利申请。

本一种用于陪伴机器人的多模态情感识别方法和系统在说明书摘要公布了：本发明涉及一种用于陪伴机器人的多模态情感识别方法和系统，方法包括分别采集面部表情图片、语音信号和脑电信号；提取面部表情的情感特征向量、语音的情感特征向量和脑电信号的特征向量；获取权重矩阵，将各特征向量与权重矩阵相乘，得到融合特征；通过支持向量机实现对于高兴、悲伤、平静和厌恶四类常见情感的分类；通过将情感演化为愉快度‑紧张度‑激动度‑确定度这四个维度，采取多元非线性回归的方式进行情感评分的预测。与现有技术相比，本发明通过信息融合，具有更接近人类的情感识别能力；利用动态更新权重参数的形式，实现自主进化和不断调整情感判别的能力；离散和连续的情感识别，能够实现更加科学、深入的描绘情感变化。

本发明授权一种用于陪伴机器人的多模态情感识别方法和系统在权利要求书中公布了：1.一种用于陪伴机器人的多模态情感识别方法，其特征在于，包括以下步骤： 分别采集面部表情图片、语音信号和脑电信号； 根据所述面部表情图片提取面部表情的情感特征向量，根据所述语音信号提取语音的情感特征向量，根据所述脑电信号提取脑电信号的特征向量； 获取权重矩阵，将所述面部表情的情感特征向量、语音的情感特征向量和脑电信号的特征向量与该权重矩阵相乘，得到融合特征； 将所述融合特征载入预先构建并训练好的分类模型进行分类识别，得到多个离散的情感标签识别结果，所述分类模型的训练过程中还用于训练所述权重矩阵； 根据所述融合特征进行情感预测，该情感预测用于对融合特征进行数据拟合训练，得到连续的情感强度数值，该情感强度数值划分为多个情感维度，该多个情感维度包括愉快度、紧张度、激动度和确定度； 通过自注意力机制计算模态注意力，从而构建所述权重矩阵，得到融合权重，所述模态注意力的计算表达式为： 式中，A为模态注意力，·为矩阵乘法，Θ为查询矩阵，Φ为键矩阵，T为转置符号，d为嵌入维数； 所述查询矩阵Θ的构建过程为：将各模态的特征向量通过第一全连接层连接，该第一全连接层的连接算式为y1＝w1x+b1，最后通过激活函数输出，得到特征量矩阵，构成查询矩阵Θ；该查询矩阵Θ用于表示当前模态本身对其他模态的影响； 所述键矩阵Φ的构建过程为：将各模态的特征向量通过第二全连接层连接，该第二全连接层的连接算式为y2＝w2x+b2，最后通过激活函数输出，得到特征量矩阵，构成键矩阵Φ；该键矩阵Φ用于表示其他模态对当前模态本身的影响； 将模态注意力A中每行的元素相加，得到模态i的权重，对应的计算公式为： Ψi＝∑kaki 式中，Ψi为模态i的权重，aki为模态注意力A中第k行第i列的元素； 所有模态的权重高的和为1，即满足： ∑iΨi＝1 模态注意力A随分类模型的训练过程共同进行训练，以调整第一全连接层和第二全连接层中的参数w1、b1、w2和b2。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。