买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利基于骨骼关节点和图像模态融合的手语识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116935486B 。

龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310901374.X，技术领域涉及：G06V40/20；该发明授权基于骨骼关节点和图像模态融合的手语识别方法及系统是由戴华;李惠;周倩;陈润桓;杨庚;吴昊哲设计研发完成，并于2023-07-21向国家知识产权局提交的专利申请。

本基于骨骼关节点和图像模态融合的手语识别方法及系统在说明书摘要公布了：本发明属于手语识别技术领域，公开了一种基于骨骼关节点和图像模态融合的手语识别方法及系统，识别方法包括：将手语骨骼关节点数据进行区域划分，输入至预设的图卷积神经网络中得到各个区域的骨骼关节点特征向量；将手语RGB图像数据输入至基于多维注意力模块的ResNet‑18网络模型中，得到图像特征向量；将各个区域的骨骼关节点特征向量与图像特征向量分别输入至Bi‑LSTM模型当中，获得手语骨骼关节点数据的序列特征和手语RGB图像数据的序列特征；基于各自的序列特征分别进行手语预测，最后进行晚期融合，得到最终的手语识别结果。本发明提高了手语识别结果的准确性和鲁棒性，增强了手语识别系统在实际环境中的应用。

本发明授权基于骨骼关节点和图像模态融合的手语识别方法及系统在权利要求书中公布了：1.一种基于骨骼关节点和图像模态融合的手语识别方法，其特征在于：所述手语识别方法通过手语识别系统实现，具体的，所述手语识别方法包括如下步骤： 步骤1、将获取到的手语骨骼关节点数据进行区域划分，并分别输入至预设的图卷积神经网络中，得到各个区域的特征向量Va、Vb和Vc； 步骤2、将获取到的手语RGB图像数据输入至基于多维注意力模块的ResNet-18网络模型当中，得到特征向量Vd； 步骤3、将步骤1得到的各个区域的特征向量Va、Vb和Vc进行早期融合，与步骤2得到的特征向量Vd分别输入至Bi-LSTM模型当中处理，获得手语骨骼关节点数据的序列特征和手语RGB图像数据的序列特征； 步骤4、基于步骤3获得的手语骨骼关节点数据的序列特征与手语RGB图像数据的序列特征分别输入至分类网络，得到各个模态的手语预测结果，对这两种预测结果进行晚期融合，得到最终的手语识别结果； 其中，所述步骤1中，得到各个区域的特征向量Va、Vb和Vc具体包括如下步骤： 步骤1-1、将获取到的手语视频转化为m维的图像序列G={g1,g2,g3,…,gi…,gm}，对于每一帧图像gi，使用MediaPipe骨骼关节点检测模型进行骨骼关节点检测，得到与每一帧图像gi对应的骨骼关节点序列Pi={keypointi,1,keypointi,2,…,keypointi,51}，包含51个骨骼关节点的2D像素坐标，其中包括左手21个骨骼关节点、右手21个骨骼关节点和肢体9个骨骼关节点； 步骤1-2、将得到的骨骼关节点序列Pi按照人体结构进行区域划分，得到三个分区Sa、Sb和Sc，分别表示左手、右手和肢体三个区域； 步骤1-3、对于每一帧图像对应的骨骼关节点序列Pi中的三个分区Sa、Sb和Sc中的任意一个分区Sj分区当中的骨骼关节点数据做图结构处理，假设Sj分区当中骨骼关节点数量为J个，将骨骼关节点作为节点，节点用q表示，每个骨骼关节点的二维坐标信息作为节点的特征信息，根据人体骨骼关节点的自然连通性建立一个不完全无向图，得到对应的邻接矩阵A和节点特征矩阵Q，其中A∈RJ×J，Q∈RJ×2； 步骤1-4：将m维图像中的每个Sj分区对应的邻接矩阵A和节点特征矩阵Q作为输入数据分别输入至预设的图卷积神经网络模型当中进行特征提取，得到对应的特征向量Vj，其中： ， 式中：vj表示每一帧图像中Sj分区得到的特征向量，d为vj特征向量的维度；具体包括如下步骤： 步骤1-4-1、在图卷积神经网络当中，通过聚合邻接节点的信息来更新节点的表示，假设更新节点qi，更新公式为： ， 其中：表示qi的相邻节点，表示qi相邻节点的集合，由邻接矩阵A计算得出，表示相邻节点的数量，W为图卷积层待学习的参数；表示图卷积层的节点特征更新函数，qi表示Sj分区当中的任意一个节点； 步骤1-4-2、在图卷积神经网络模型中，使用两层图卷积层来融合全局和局部的图结构信息，提取特征信息，使用ReLU函数作为激活函数，对于具体表达式如下： ， 式中：为第一层图卷积层处理得到的节点特征矩阵，为第二层图卷积层处理得到的节点特征矩阵，W1、W2分别为第一层图卷积层和第二层图卷积层待学习的参数； 步骤1-4-3、连接一层全连接层得到最终的特征向量v，全连接层将图卷积层输出的特征图映射成一个d维的特征向量，表达式如下： ； 所述基于多维注意力模块的ResNet-18网络模型构建为在ResNet-18网络模型中的每个残差块中顺序嵌入空间注意力模块和通道注意力模块，具体构建过程包括如下步骤： 步骤2-1、在每个残差块中，经过3*3卷积层处理后的特征图F输入至空间注意力模块中，得到空间注意力图MS，其中F∈RH×W×C，H、W和C分别代表特征图的高度、宽度和通道数量，表达式如下： ， 式中：GAPF和GMPF分别表示全局平均池化操作和全局最大池化操作，用来提取特征图F中的重要空间区域，再使用一个卷积核为7*7的卷积操作fS来对提取的空间特征进一步卷积，最后经过激活函数得到空间注意力图MS； 步骤2-2、将步骤2-1得到的空间注意力图MS与特征图F点乘得到处理后的特征图F’，表达式如下： ； 步骤2-3、将步骤2-2得到的特征图F’输入至通道注意力模块中，得到通道注意力图MC，表达式如下： ， 式中：gC表示多层全连接层感知器，和用来调整每个通道的重要性，再使用多层全连接层感知器gC来对提取的通道特征进行拼接，最后经过激活函数得到通道注意力图MC； S2-4：将通道注意力图MC与特征图F’点乘得到最终的特征图F”，表达式如下： 。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。