买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利基于视觉和骨架信息融合的手语识别方法、装置及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116152926B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310123128.6，技术领域涉及：G06V40/20；该发明授权基于视觉和骨架信息融合的手语识别方法、装置及系统是由梁吴艳;徐小龙设计研发完成，并于2023-02-16向国家知识产权局提交的专利申请。

本基于视觉和骨架信息融合的手语识别方法、装置及系统在说明书摘要公布了：本发明公开了基于视觉和骨架信息融合的手语识别方法、装置及系统，所述手语识别方法包括；将获取到的手语视频图像数据和手语骨架热图数据输入至由3D卷积构成的采样层，获得特征图数据；将特征图数据输入至预设的基于多维度注意力增强的3D残差卷积神经网络，获得手语视频图像时空特征和手语骨架热图的时空特征；基于视频图像特征和骨架热图特征分别进行多模态手语动作预测，并对这两种模态的预测输出进行晚融合，完成基于视觉和骨架信息融合的手语识别。本发明能利用基于多维度注意力增强的3D残差卷积神经网络，分别表征视频图像和骨架热图的时空特征，并对这两种模态的预测输出进行晚融合，提高手语识别结果的鲁棒性和精确率。

本发明授权基于视觉和骨架信息融合的手语识别方法、装置及系统在权利要求书中公布了：1.一种基于视觉和骨架信息融合的手语识别方法，其特征在于，包括： 将获取到的手语视频图像数据和手语骨架热图数据分别输入至由3D卷积构成的第一采样层和第二采样层，获得第一特征图数据和第二特征图数据； 将所述第一特征图数据和第二特征图数据分别输入至预设的基于多维度注意力增强的3D残差卷积神经网络，获得手语视频图像时空特征和手语骨架热图的时空特征；其中，所述3D残差卷积神经网络包括两个结构相同的子网络，各子网络均包括顺次设置的第一残差模块、第二残差模块和第三残差模块，且各残差模块分别连接多维度注意力增强模块； 基于所述视频图像特征和骨架热图特征分别进行多模态手语动作预测，并对这两种模态的预测输出进行晚融合，完成基于视觉和骨架信息融合的手语识别； 所述多维度注意力增强模块包括顺次设置的空间注意模块、时间注意模块和通道注意模块； 将残差模块输出的特征图数据χ输入至空间注意模块中，由所述空间注意模块沿着空间维度生成空间注意力图 将所述空间注意力图以残差方式点乘到输入的特征图数据χ，生成特征图数据χs； 将所述特征图数据χs与特征图数据χ进行残差连接，生成特征图数据χ′s； 将特征图数据χ′s输入至时间注意模块中，由所述时间注意模块沿着时间维度生成时间注意力图 将所述时间注意力图以残差方式点乘到输入的特征图数据χ′s，生成特征图数据χt； 将所述特征图数据χt与特征图数据χ′s进行残差连接，生成特征图数据χ′t； 将特征图数据χ′t输入至通道注意模块中，由所述通道注意模块沿着通道维度生成通道注意力图 将所述通道注意力图以残差方式点乘到输入的特征图数据χ′t，生成特征图数据χc； 将所述特征图数据χt与特征图数据χ′t进行残差连接，生成特征图数据χ′c； 所述空间注意力图的表达式为： 其中，表示残差模块输出的特征图数据，T是手语视频图像或手语骨架热图的帧数，C是手语视频图像或手语骨架热图的通道数，H和W是每帧手语视频图像或手语骨架热图的高度和宽度，AvgPoolt对所有的帧手语视频图像或手语骨架热图进行平均操作，即表示沿空间维度的2D卷积，其输出通道是1，σ表示一种激活函数； 所述时间注意力图的表达式为： 其中,表示空间注意模块输出的特征图数据，T是手语视频图像或手语骨架热图的帧数，C是手语视频图像或手语骨架热图的通道数，H和W是每帧手语视频图像或手语骨架热图的高度和宽度，AvgPools表示沿着空间维度对特征图数据进行平均，表示沿着时间维度的1D卷积； 所述通道注意力图的表达式为： 其中,表示时间模块输出的特征图数据，T是手语视频图像或手语骨架热图的帧数，C是手语视频图像或手语骨架热图的通道数，H和W是每帧手语视频图像或手语骨架热图的高度和宽度，AvgPoolst表示沿着空间和时间维度对特征图进行平均，和是沿着通道维度运行的两个线性函数，σ为ReLu激活函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市鼓楼区新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。