买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利基于多模态生物特征一致性的音视频人物识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116612542B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310571748.6，技术领域涉及：G06V40/70；该发明授权基于多模态生物特征一致性的音视频人物识别方法及系统是由李恒达;曾鸣;郑英林;林宇鑫;宋昊东;张湘君设计研发完成，并于2023-05-19向国家知识产权局提交的专利申请。

本基于多模态生物特征一致性的音视频人物识别方法及系统在说明书摘要公布了：本发明公开一种基于多模态生物特征一致性的音视频人物识别方法及系统，涉及人物身份识别领域。本发明利用人脸检测器和人体检测器技术提取人脸区域和人体区域，利用前后景分离技术从人体区域中获取人体剪影；同时，运用深度学习技术，利用人脸识别从人脸区域提取人脸特征，利用步态识别从人体区域提取步态特征，以及利用声纹识别从音频帧中提取声纹特征；进一步利用新颖的多模态筛选方法和多模态一致性计分方法，能够高效利用包括人脸特征、步态特征和声纹特征的多模态信息，更准确地识别人物身份。并且本发明方法尤其适用于复杂场景，如社区治安、公共安全管理和智能家居等场景使用。

本发明授权基于多模态生物特征一致性的音视频人物识别方法及系统在权利要求书中公布了：1.一种基于多模态生物特征一致性的音视频人物识别方法，其特征在于，包括： 获取待识别身份的音视频流并进行预处理，分离出视频流数据和音频流数据； 对于视频流数据中的每一帧数据，利用人脸检测器提取人脸区域和对应的人脸关键点，利用人体检测器提取帧前后一个时间窗内人脸区域对应的人体区域； 利用人脸识别网络提取人脸区域的人脸特征，并提取人体区域的步态特征； 所述提取人体区域的步态特征，具体包括： 将人脸区域对应的人体区域输入至前后景分离网络，输出人体剪影序列； 将人体剪影序列输入步态识别网络，输出提取的步态特征； 对于音频流数据中的每一帧数据，提取帧前后一个时间窗内的声纹特征； 对提取的人脸特征、步态特征和声纹特征进行多模态筛选，得到待选人物集合； 所述对提取的人脸特征、步态特征和声纹特征进行多模态筛选，得到待选人物集合，具体包括： 计算提取的人脸特征与人脸库中各个人脸特征的余弦相似度，将多个余弦相似度按值从高到低排序，返回前K个余弦相似度值C_face1,C_face2,...,C_faceK与对应的人物身份； 计算提取的步态特征与步态库中各个步态特征的余弦相似度，将多个余弦相似度按值从高到低排序，返回前K个余弦相似度值C_gait1,C_gait2,...,C_gaitK与对应的人物身份； 计算提取的声纹特征与声纹库中各个声纹特征的余弦相似度，将多个余弦相似度按值从高到低排序，返回前K个余弦相似度值C_voice1,C_voice2,...,C_voiceK与对应的人物身份； 对人脸特征、步态特征和声纹特征这三个模态各自返回的前K个结果取并集，获得待选人物集合M； 对待选人物集合中的每个人物进行多模态一致性计分，返回分数最高者的人物身份作为识别出的人物身份； 所述对待选人物集合中的每个人物进行多模态一致性计分，返回分数最高者的人物身份作为识别出的人物身份，具体包括： 对待选人物集合M中的第k个人物Mk，比较其人脸特征和步态特征的余弦相似度，取余弦相似度高的模态作为Mk的基础模态，将基础模态对应的余弦相似度值作为基础模态分Score_basek； 根据人脸区域和对应的人体区域计算人脸与步态的一致性分数wf,g； 根据人脸关键点和梅尔频谱计算人脸与声纹的一致性分数wf,v； 将步态与声纹的一致性分数记为wg,v； 根据一致性分数wf,g、wf,v和wg,v计算不同基础模态下的模态一致分Score_coink； 根据基础模态分Score_basek和模态一致分Score_coink计算第k个人物Mk的总分Scorek＝Score_basek+Score_coink； 返回总分Scorek最高者的人物身份作为识别出的人物身份； 根据识别出的人物身份对音视频流中每一帧上的人物进行身份标注，输出身份识别后的音视频流。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。