买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河北大学申请的专利一种连续手语识别方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115393949B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210827343.X，技术领域涉及：G06V40/20；该发明授权一种连续手语识别方法及装置是由崔振超;张文博;齐静设计研发完成，并于2022-07-14向国家知识产权局提交的专利申请。

本一种连续手语识别方法及装置在说明书摘要公布了：本发明涉及一种连续手语识别方法及装置。识别方法是将原始手语视频通过随机删减的方法删除冗余帧，获得连续的手语视频序列；对获取的手语视频序列进行分块操作和向量化处理，获得手语序列向量；通过时空编码器对获得的手语序列向量进行特征提取，获得手语序列特征向量；对获得的手语序列特征向量进行特征解码；对解码后的特征进行预测序列；对获得的手语视频的预测序列与手语文本序列进行WER计算；进行网络级训练，对最终的手语识别结果进行输出。本发明在多手语者、多语句、多语言输入等情况下，都具有较强的鲁棒性并能够获得更高的识别率。

本发明授权一种连续手语识别方法及装置在权利要求书中公布了：1.一种连续手语识别方法，其特征在于，包括如下步骤： S1、原始手语视频通过随机删减的方法删除冗余帧，获得连续的手语视频序列； S2、对获取的手语视频序列进行分块操作和向量化处理，获得手语序列向量； S3、通过以Spatial-TemporalTransformer网络中的编码器作为时空编码器，对获得的手语序列向量进行特征提取，获得手语序列特征向量；所述编码器为时间和空间双通道的编码器； S4、对获得的手语序列特征向量进行特征解码； S5、对解码后的特征进行序列预测，获得手语视频的预测序列； S6、对获得的手语视频的预测序列与手语文本序列进行WER计算； S7、对步骤S3、步骤S4、步骤S5和步骤S6进行网络级训练，对最终的手语识别结果进行输出； 步骤S3中所用编码器是兼顾时间和空间的编码器结构，包括一个空间注意力模块和一个时间注意力模块；传进编码器的手语视频向量通过两个通道分别进入时间注意力模块和空间注意力模块，然后再将由时间注意力模块和空间注意力模块提取到的特征进行拼接； 步骤S3的具体操作方式包括以下步骤： S3-1、将步骤S2中的训练数据作为输入视频，先进行Embedding和PositionalEncoding操作； S3-2、将Embedding和PositionalEncoding后的向量作为STT编码模块的输入P，向量进入STTN编码模块之后，先利用维度变换操作将向量P的帧数T放到第一维度batch-size，由空间编码模块对维度变换后的向量P0进行空间注意力计算，计算后的向量记为Z0；再利用维度变换操作，将向量P的块数N放到第一维度batch-size，通过时间编码模块对维度变换后的向量P1进行时间注意力的计算，计算后的向量记为Z1；对向量Z0和向量Z1进行特征拼接操作，经LayerNormalization和FeedForward操作后进行编码器的输出； S3-3、对解码器依次进行三部分操作：①MaskedMulti-HeadSelf-Attention，②Multi-HeadEncoder-DecoderAttention，③FeedForwardNetwork，每部分操作后接一个LayerNormalization；解码器的注意力计算包括手语文本之间的自注意力计算以及注意力输出与编码器输出的交叉注意力计算； 步骤S4中所用的解码器包括三个子层组成，第一个子层包括一个含有掩码的多头自注意力层和规范化层以及残差连接层，第二个子层包括一个多头交叉注意力层和规范化层以及残差连接层，第三个子层包含一个前馈神经网络和规范化层以及残差连接层。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河北大学，其通讯地址为：071002 河北省保定市五四东路180号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。