华侨大学柳欣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华侨大学申请的专利一种交互式人脸语音标注方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117235667B 。
龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311237025.9,技术领域涉及:G06F18/25;该发明授权一种交互式人脸语音标注方法、装置、设备及存储介质是由柳欣;陈冠程;彭淑娟;王成;杜吉祥设计研发完成,并于2023-09-25向国家知识产权局提交的专利申请。
本一种交互式人脸语音标注方法、装置、设备及存储介质在说明书摘要公布了:本发明提供了一种交互式人脸语音标注方法、装置、设备及存储介质,先接收人脸图像,并采用卷积神经网络对所述人脸图像进行特征提取,以生成人脸特征;接着获取语音信号,并采用循环神经网络及全连接层作对所述语音信号进行特征提取,以生成语音特征;再接着根据所述人脸图像和所述语音信号的身份标签信息,调用训练数据批次中的数据近似作为身份原型特征对所述语音特征和所述人脸特征执行对齐操作;最后基于所述对齐操作所述人脸图像和所述语音信号进行标注,有效地将不同模态特征准确映射到公共的特征空间中,实现异构模态信息之间的可比性,从而提高交互式人脸语音标注的准确性。
本发明授权一种交互式人脸语音标注方法、装置、设备及存储介质在权利要求书中公布了:1.一种交互式人脸语音标注方法,其特征在于,包括: 接收人脸图像,并采用卷积神经网络对所述人脸图像进行特征提取,以生成人脸特征; 获取语音信号,并采用循环神经网络及全连接层作对所述语音信号进行特征提取,以生成语音特征; 根据所述人脸图像和所述语音信号的身份标签信息,调用训练数据批次中的数据近似作为身份原型特征对所述语音特征和所述人脸特征执行对齐操作;其中,所述对齐操作包括:通过原型无关模态内对比损失进行模态内特征直接相互感知和语义对齐,以及通过模态间对比损失使得相同身份的模态间特征进行语义对齐,具体为: 在单一模态内的对齐任务上,根据身份标签并随机选择样本数据作为身份原型特征代入对比学习中,生成模态内原型无关对比学习损失函数;在一个训练批次的对数据中,通过最小化相同身份的特征信息之间的距离同时最大化不同身份的特征信息之间的距离构建模态间对比损失函数;基于所述模态内原型无关对比学习损失函数和模态间对比损失函数生成对齐操作的损失函数; 在模型训练过程中不断对样本数据对的特征间距离进行测量,计算出数据对的近似距离值,并以此判断样本数据对相对于其对应的身份类别的偏离程度,并根据偏离程度的高低,将样本数据对划分为偏差对和超偏差对;同时在训练过程中通过三元组损失的训练方式,对偏差对进行约束; 基于所述对齐操作所述人脸图像和所述语音信号进行标注。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华侨大学,其通讯地址为:362000 福建省泉州市城华北路269号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励