买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种融合跨模态对齐辅助任务的连续手语识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116311522B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310285310.1，技术领域涉及：G06V40/20；该发明授权一种融合跨模态对齐辅助任务的连续手语识别方法是由耿卫东;董爱祁;韩晨晨;厉向东;梁秀波设计研发完成，并于2023-03-22向国家知识产权局提交的专利申请。

本一种融合跨模态对齐辅助任务的连续手语识别方法在说明书摘要公布了：本发明公开了一种基于跨模态对齐辅助任务的连续手语识别方法，包括：提供两个跨模态对齐的辅助任务，即掩码手语词目预测任务和动态时间规整对比学习任务，掩码手语词目预测任务在高层次语义空间对齐手语视频和手语词目序列，动态时间规整对比学习任务在时序上以更密集的方式对齐手语视频和手语词目序列，在端到端的情况下提供更多的监督，缓解了网络底层的过拟合问题，增强了模型可扩展性。同时，两个跨模态对齐的辅助任务都对手语词目序列中的上下文信息进行建模，通过对齐手语词目序列和手语视频来优化上下文中的短期时空特征，解决了现阶段端到端的连续手语识别方法通常忽视了对手语词目序列中信息的挖掘的问题，提升了模型的识别性能。

本发明授权一种融合跨模态对齐辅助任务的连续手语识别方法在权利要求书中公布了：1.一种基于跨模态对齐辅助任务的连续手语识别方法，其特征在于，包括以下步骤： 准备手语视频及对应的目标手语词目序列； 构建训练系统，包括图像特征提取模块、短期时空特征提取模块、长期时空特征提取模块、掩码手语预测模块、动态时间规整对比学习模块、连接时序分类模块，手语视频对应的视频帧序列经过图像特征提取模块得到图像特征序列，该图像特征序列经过短期时空特征提取模块提取得到短期时空特征序列，该短期时空特征序列引入掩码手语预测模块来构建视觉特征序列并参与手语词目的掩码预测任务，该短期时空特征序列还引入动态时间规整对比学习模块来构建视觉特征序列并参与正负手语词目的对比学习任务，该短期时空特征序列经过长期时空特征提取模块提取特征序列，该短期时空特征序列和长期时空特征序列分别经过连接时序分类模块计算激活分类概率和连接时序分类概率； 其中，掩码手语预测模块包括第一嵌入层、第一多头注意力机制网络、第二多头注意力机制网络、第三多头注意力机制网络以及线性层，对目标手语词目序列掩码处理的掩码序列经过第一嵌入层嵌入得到词嵌入向量，为该词嵌入向量引入位置嵌入后输入至第一多头注意力机制网络并经过计算得到融合上下文的手语特征序列，短期时空特征序列引入位置嵌入后输入第二多头注意力机制网络并经过计算得到融合上下文的视觉特征序列，该手语特征序列与视觉特征序列在时间维度拼接后输入至第三多头注意力机制网络并经过融合计算得到多模态特征序列，从多模态特征序列中提取前T3个特征输入线性层进行映射计算得到掩码词目的预测概率； 动态时间规整对比学习模块包括负样本生成器、第二嵌入层、第三嵌入层、第四多头注意力机制网络、第五多头注意力机制网络以及第六多头注意力机制网络，将单个目标手语词目序列作为正样本，负样本生成器依据正样本生成负样本，正样本经过第三嵌入层嵌入得到词嵌入向量，为该词嵌入向量引入位置嵌入后输入至第四多头注意力机制网络并经过计算得到正样本的手语特征序列，负样本经过第五嵌入层嵌入得到词嵌入向量，为该词嵌入向量引入位置嵌入后输入至第五多头注意力机制网络并经过计算得到负样本的手语特征序列，短期时空特征序列引入位置嵌入后输入第六多头注意力机制网络并经过计算得到正样本的视觉特征序列； 构建损失函数，包括掩码预测任务的预测损失，对比学习任务的对比损失，基于短期时空特征序列和长期时空特征序列对应激活分类概率构建的蒸馏损失，基于短期时空特征序列和长期时空特征序列对应的连接时序分类概率构建的连接时序分类损失； 利用损失函数优化训练系统的参数，参数优化结束后，采用图像特征提取模块、短期时空特征提取模块、长期时空特征提取模块，并引入连接时序分类解码器组成连续手语识别模型； 利用连续手语识别模型进行连续手语识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。