买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利一种基于时空特征解耦的视频表情识别方法及应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115830666B 。

龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211164850.6，技术领域涉及：G06V40/16；该发明授权一种基于时空特征解耦的视频表情识别方法及应用是由高东溟;胡敏;胡鹏远;王晓华设计研发完成，并于2022-09-23向国家知识产权局提交的专利申请。

本一种基于时空特征解耦的视频表情识别方法及应用在说明书摘要公布了：本发明公开了一种基于时空特征解耦的视频表情识别方法，其步骤包括：1获取实验室环境下的数据集以及自然环境下的数据集，并进行预处理；2通过全局特征提取区域层网络获取面部表情重要区域的表情细节特征；3将全局特征提取区域层网络提取到的人脸表情全局特征放入RoI特征提取网络进行RoI特征提取；4通过时空特征解耦模块使得模型在时间和空间两个维度上进行解耦操作；5通过分类模块获取标签预测概率；6通过标签修正模块对数据集中错误的样本标签予以更正；7通过标签预测概率得到最终的情感识别结果。本发明能显著提高视频情感识别率。

本发明授权一种基于时空特征解耦的视频表情识别方法及应用在权利要求书中公布了：1.一种基于时空特征解耦的视频表情识别方法，其特征在于，是按如下步骤进行： 步骤一、获取室内环境下具有标签标注的视频表情数据集，并对所述视频表情数据集中的每个视频进行长度标准化处理，再对标准化后的每个视频中的T帧人脸图像的尺寸进行统一处理，从而得到每个视频对应的预处理后的视频表情序列； 利用Dlib工具对任意一个视频对应的预处理后的视频表情序列Q中的第t帧人脸图像xt的人脸特征点进行标记，从而根据所述人脸特征点，利用面部运动单元分割规则对第t帧人脸图像xt中的人脸区域进行划分，得到第t帧人脸图像xt的人脸区域集合Zt，从而得到视频表情序列Q的人脸区域集合Z； 步骤二、构建表情识别网络，包括：全局特征提取区域层网络、RoI特征提取网络、时空特征解耦网络、分类模块和标签修正模块； 步骤2.1、所述全局特征提取区域层网络由SE-ResNet-50网络的前三个模块和区域层组成； 所述视频表情序列Q输入到所述全局特征提取区域层网络中，并经过前三个模块的特征提取后，得到视频表情序列Q的特征图序列fQ＝{f1，…，ft，…，fT}，其中，ft表示第t帧人脸图像xt的特征图，T表示视频表情序列Q的帧数； 所述区域层先将第t帧人脸图像xt的特征图ft均匀划分为i×i个图像块后，对每个图像块进行归一化、ReLU激活函数的运算，从而得到处理后的i×i个图像块； 所述区域层利用卷积核为1×1的C通道卷积层对处理后的每个图像块进行局部卷积操作，得到每个图像块的特征向量其通道C个，从而得到由i×i个图像块的特征通道向量构成集合bt； 所述区域层依次利用两个全连接层和sigmoid函数对特征通道向量集合bt进行特征通道间相关性计算，得到每个特征通道对应的权重，并将每个特征通道对应的权重分别与处理后的i×i个图像块进行乘法加权处理，从而得到包含C个特征通道的i×i个带权重的图像块集合at； 将图像块集合at与特征图ft上i×i个图像块的位置进行匹配后，得到特征图ft的全局表情信息权重特征图Pt，从而得到全局表情信息权重特征图序列PQ＝{P1，…，Pt，…，PT}； 步骤2.2、所述RoI特征提取网络由SE-ResNet-50网络中的第四个SE-Res模块组成；并将人脸区域集合Z中的人脸区域作为第四个SE-Res模块的人脸图像的识别边界； 所述第四个SE-Res模块利用池化层从全局表情信息权重特征图Pt中获取n个RoI特征图并进行尺寸统一，得到第t帧人脸图像xt的RoI特征图集合Rt＝{Rt1，…，Rtk，…，Ptn}，其中，Rtk表示第k个尺寸统一后的RoI特征图，n表示RoI特征图数量； 所述第四个SE-Res模块对RoI特征图集合Rt进行细粒度特征提取，得到n个RoI特征图的高级语义特征Gt＝{Gt1，…，Gtk，…，Gtn}，其中，Gtk表示第k个尺寸统一后的特征图Rtk的高级语义特征，从而得到高级语义特征序列GQ＝{G1，…，Gt，…，GT}； 步骤2.3、所述时空特征解耦网络，依次包括：L层空间注意力模块，L层时间注意力模块，全局平均池化层以及全连接层： 步骤2.3.1、每一层空间注意力模块依次由S个注意力头、线性层、归一化层BN、激活函数层ReLU构成； 高级语义特征序列GQ输入到第一层空间注意模块中，并由S个注意力头对GQ进行空间注意力特征图计算，得到S个注意力头对第t帧高级语义特征Gti输出的空间注意力特征图从而得到高级语义特征序列GQ的空间注意力特征图其中，第一层空间注意模块中第i个注意力头先根据高级语义特征Gt中各个RoI的位置对Gt进行空间位置编码，并将空间位置编码与第t帧高级语义特征Gt相加，再经过线性函数的运算后得到第i个注意力头的具有空间位置编码的第t帧高级语义特征Gti，从而利用式1计算具有空间位置编码的第t帧高级语义特征Gti的空间注意力特征图并利用式2得到第一层空间注意模块的第i个注意力头的空间注意力特征图A1i： 式1中，σ和φ为两个嵌入函数，Gti'代表高级语义特征Gti的转置；softmax表示归一化指数函数，tanh表示激活函数； 将第一层空间注意模块的第i个注意力头输出的空间注意力特征图A1i与高级语义特征序列G相乘后得到矩阵从而得到S个注意力头的空间注意力特征图分别与高级语义特征序列G相乘后的矩阵并进行拼接后，再依次通过线性层、归一化层BN、激活函数层ReLU的处理，最后得到空间输出矩阵 步骤2.3.2、将输空间出矩阵转置为T个时间元素构成的时间矩阵Y，且每个时间元素有n个C通道的矩阵，其中，每个C通道均表示一个高级语义特征的时间集合，从而将n个C通道作为n个时间集合，记为Y＝{Y，…，Y，…，Y}；其中，Y表示第k高级语义特征的时间集合； 步骤2.3.3、每一层时间注意力模块有S个注意力头、线性层、归一化层BN、激活函数层ReLU依次构成； 时间矩阵Y输入到第一层时间注意模块中，并由S个注意力头对Y进行时间注意力特征图计算，得到S个注意力头输出的时间注意力特征图从而得到矩阵Y的时间注意力特征图其中，第一层时间注意模块的第i个注意力头先根据视频表情序列Q中的帧数顺序对Yk进行时间位置编码，并将时间位置编码与第k个C通道的Yk相加，再经过线性函数的运算后得到第i个注意力头的具有时间位置编码的第k高级语义特征的时间集合Yki，从而利用式3计算视频表情序列Q的具有时间位置编码的第k高级语义特征的时间集合Yki的时间注意力特征图并利用式4得到第一层时间注意模块的第i个注意力头的时间注意力特征图B1i： 式3中，Yki'代表Yki的转置； 将第一层时间注意模块的第i个注意力头输出的时间注意力特征图B1i与矩阵YQ相乘后得到矩阵从而得到S个注意力头的时间注意力特征图分别与矩阵YQ相乘后的矩阵并进行拼接，再依次通过线性层、归一化层BN、激活函数层ReLU的处理，最后得到时间输出矩阵 步骤2.3.4、将时间输出矩阵转换为n个空间元素，且每个空间元素有T个C通道的空间矩阵；按照步骤2.3.1-步骤2.3.3的过程将n个空间元素依次经过下一层空间注意力模块和时间注意力模块的处理，从而经过L层空间注意力模块和L层时间注意力模块的堆叠处理后时间输出矩阵 步骤2.3.5、将时间输出矩阵依次通过全局平均池化层和全连接层的处理后，得到一维向量α； 步骤2.4、将一维向量α输入到由两个全连接层和Softmax函数组成分类模块中进行处理后，得到视频表情序列Q的标签预测概率； 步骤2.5、所述标签修正模块包括：自注意力权重模块、权重排序模块以及标签重标注模块； 所述视频表情序列Q经过自注意力权重模块的处理后得到权重分数aQ； 权重排序模块依据所设置的权重标准值λ，将所述权重分数aQ划分到高权重组或低权重组中； 若视频表情序列Q的权重分数aQ在低权重组中，且标签预测概率向量中的最大预测概率Pmax所对应的标签gmax与其真实标签之间差值大于设定的阈值ξ，则将Q的标签重新标注为最大预测概Pmax率所对应的标签gmax；否则，保持视频表情序列Q的原始标签； 步骤三、将视频表情序列Q的标签预测概率向量中最大值对应的情感类别作为最终情感分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。