买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利一种用于自然手势识别的多模态混合融合方法及其应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115205989B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210920974.6，技术领域涉及：G06V40/70；该发明授权一种用于自然手势识别的多模态混合融合方法及其应用是由陈勋;段声才;吴乐;刘爱萍设计研发完成，并于2022-08-02向国家知识产权局提交的专利申请。

本一种用于自然手势识别的多模态混合融合方法及其应用在说明书摘要公布了：本发明公开了一种用于自然手势识别的多模态混合融合方法及其应用，该方法包括：1获取多模态数据，对多模态信号进行预处理和特征提取；2构建多模态信号混合融合模型，联合前期融合、多尺度层级特征融合和后期融合等方式使模型能同时学习单一模态的特异性信息和多模态间的交互信息；3设计多尺度空间注意力模块，通过融合多尺度层级特征来充分挖掘输入信号的关键信息；4设计度量学习损失函数，增强模型对相似手势的辨别能力；5训练多模态混合融合模型，获得最优的自然手势识别模型。本发明能提升自然手势识别的鲁棒性，尤其增加模型对大量手势和相似手势的识别精度，从而能促进基于手势的人机交互系统的推广应用。

本发明授权一种用于自然手势识别的多模态混合融合方法及其应用在权利要求书中公布了：1.一种用于自然手势识别的多模态混合融合方法，其特征在于，包括以下步骤： 步骤1、获取多模态手势数据集及其手势类别标签集合，并对多模态手势数据集进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，表示稀疏通道的表面肌电信号，表示加速度计信号； 步骤1.1、数据预处理： 对表面肌电信号和加速度计信号分别进行滤波、归一化和活动段滑窗分割，得到包含个原始肌电信号样本的肌电信号样本集合和包含个加速度计信号样本的加速度计信号样本集合； 步骤1.2、特征提取： 使用时频域方法提取肌电信号样本集合中每一个原始肌电信号样本的时频域特征图，得到包含个肌电信号特征图样本的肌电信号训练集；其中，表示任意第i个肌电信号特征图样本；和分别表示肌电信号特征图样本的单通道特征维度和通道数；令的手势类别标签为； 使用时域方法提取加速度计信号样本集合中每一个加速度计信号样本的时域特征图，得到包含个加速度计信号特征图样本的加速度计信号训练集；其中，表示任意第i个加速度计信号特征图样本；和分别表示加速度计信号特征图样本的单通道特征维度和通道数；令的手势类别标签为； 步骤1.3、构建含多模态信号特征图样本的训练集，其中，表示肌电信号训练集和加速度计信号训练集中信号特征图样本的标签集合，且包含种手势类别； 步骤2、构建多模态混合融合模型，包括：三条并行的网络分支以及决策层融合模块；每条网络分支均包括：特征提取子网络和模式识别子网络； 所述特征提取子网络包括：升维单元、层级特征融合单元和降维单元； 所述层级特征融合单元包括：级残差网络和多尺度注意力模块； 所述升维单元依次包括：一个批归一化层、个卷积核大小为1×1的卷积层、一个批归一化层和ReLu激活函数层； 级残差网络中的每一级依次包括：一个批归一化层、个卷积核大小为1×1的卷积层、一个批归一化层、个卷积核大小为的卷积层、一个批归一化层、个卷积核大小为1×1的卷积层、一个批归一化层和ReLu激活函数层； 所述多尺度注意力模块包括：种尺度的空间注意力单元和融合单元； 级残差网络中的每一级分别对应连接每一种尺度的空间注意力单元；每一种尺度的空间注意力单元依次由一个最大池化层、一个平均池化层、一个卷积层和sigmod激活函数层组成； 所述降维单元依次包括：个卷积核大小为1×1的卷积层、一个批归一化层、ReLu激活函数层和一个dropout层； 所述模式识别子网络由个全连接层模块组成；其中，所述第一个全连接层模块依次包括：含个神经元的全连接层、一个批归一化层、ReLu激活函数层和一个dropout层；第个全连接层模块依次包括：含个神经元的全连接层、一个批归一化层和ReLu激活函数层；第个全连接层模块为含个神经元的全连接层； 步骤2.1：将第i个肌电特征图样本输入第一条并行的网络分支中，并经过所述特征提取子网络中升维单元的处理，输出升维后的特征后再输入层级特征融合单元中，依次经过级残差网络的处理，并由每一级输出残差特征；其中，表示第级残差网络的输出的残差特征； 级残差网络中每一级输出的残差特征分别对应输入每一种尺度的空间注意力单元中，从而输出空间注意力权重；其中，表示第k种尺度的空间注意力单元输出的空间注意力权重；所述空间注意力单元将与对应进行哈达玛积，得到个层级加权后的层级特征；其中，表示由第级残差特征与第k种尺度的空间注意力权重得到的第k层加权后的层级特征； 所述融合单元将个层级的加权后特征按通道拼接融合，得到层级融合特征； 所述降维单元将层级融合特征进行降维处理，得到降维后的特征； 所述降维后的特征输入模式识别子网络中，并经过第一个全连接层模块的处理后，输出第一全连接层特征；所述第一全连接层特征输入第2个全连接层模块中，并依次经过个全连接层模块的处理后，输出第全连接层特征；所述第全连接层特征输入第个全连接层模块的处理后，输出并行网络第一条支路的分类结果； 步骤2.2：将第i个加速度计信号特征图样本输入第二条并行的网络分支中，并依次经过特征提取子网络和模式识别子网络的处理后，由第个全连接层模块和第个全连接层模块分别输出第全连接层特征和并行网络第二条支路的分类结果； 步骤2.3：将第i个肌电特征图样本和第i个加速度计信号特征图样本的拼接图输入第三条并行的网络分支中，并依次经过特征提取子网络和模式识别子网络的处理后，由第个全连接层模块和第个全连接层模块分别输出第全连接层特征和并行网络第三条支路的分类结果； 步骤2.4、所述决策层融合模块是将三条并行的网络支路输出的各支路分类结果、、按元素相加后，得到决策融合后的分类结果； 步骤3、网络训练： 步骤3.1、定义并随机初始化手势类别的中心矩阵，其中，表示第全连接层特征的维度；利用式1构建任意一条并行的网络分支的中心损失： 1 式1中，表示中心损失占比总损失的权重，表示任意一条并行的网络分支中输出的第全连接层特征，表示标签所对应的手势类别在手势类别的中心矩阵中的类别中心向量； 利用式2构建任意一条并行的网络分支的中心余弦相似性损失： 2 式2中，表示中心余弦相似性损失的占比总损失的权重，分别表示第种手势类别和第种手势类别在手势类别的中心矩阵中的类别中心向量； 步骤3.2、任意一条并行的网络分支的中心损失及其对应的中心余弦相似性损失相加，得到任意一条并行的网络分支的度量学习损失 利用sofmax函数对任意一条并行的网络分支的分类结果进行归一化，得到归一化的分类结果，用于构建相应并行的网络分支的叉熵损失 步骤3.3、利用sofmax函数对决策融合后的分类结果进行归一化，得到归一化的分类结果用于构建决策层融合模块的叉熵损失； 步骤3.4、由三条并行的网络分支的度量学习损失、叉熵损失以及策层融合模块的叉熵损失共同构成总损失函数； 步骤3.5、基于训练集，利用Adam方法对所述多模态混合融合模型进行训练，并计算所述总损失函数，直到总损失函数收敛为止，从而得到训练好的自然手势分类模型用于对任意一种多模态手势数据进行手势识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。