杭州微帮忙知识科技有限公司李凯明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州微帮忙知识科技有限公司申请的专利一种基于多模态融合的面试视频行为特征分析与排序方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120997744B 。
龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511497401.7,技术领域涉及:G06V20/40;该发明授权一种基于多模态融合的面试视频行为特征分析与排序方法是由李凯明;李佳凤;鲍克坦;蔡永鸿;王竹飞;罗雅梅;万华伟;张强设计研发完成,并于2025-10-20向国家知识产权局提交的专利申请。
本一种基于多模态融合的面试视频行为特征分析与排序方法在说明书摘要公布了:本发明公开了一种基于多模态融合的面试视频行为特征分析与排序方法,包括如下步骤:步骤S1、处理输入的面试视频数据,分别提取视觉模态特征、音频模态特征和文本模态特征;步骤S2、将提取的所述视觉模态特征、音频模态特征和文本模态特征输入至多模态融合网络模型;步骤S3、所述多模态融合网络模型根据输入的特征进行特征融合,再输出多个预设维度的行为特质评分;步骤S4、对所述多个预设维度的行为特质评分进行排序,获得排序结果。本发明可以实现多模态数据的标准化采集、全面特征提取及精准关联分析,最终输出可直接用于辅助决策的客观特征排序结果,提升在线面试数据处理的效率与精度。
本发明授权一种基于多模态融合的面试视频行为特征分析与排序方法在权利要求书中公布了:1.一种基于多模态融合的面试视频行为特征分析与排序方法,其特征在于:包括如下步骤: 步骤S1、处理输入的面试视频数据,分别提取视觉模态特征、音频模态特征和文本模态特征; 步骤S2、将提取的所述视觉模态特征、音频模态特征和文本模态特征输入至多模态融合网络模型;其中,所述多模态融合网络模型采用结合列表排序损失和成对排序损失的混合损失函数进行训练,以优化其排序能力; 步骤S3、所述多模态融合网络模型根据输入的特征进行特征融合,再输出多个预设维度的行为特质评分; 步骤S4、对所述多个预设维度的行为特质评分进行排序,获得排序结果; 所述多模态融合网络模型使用混合排序损失的回归训练;所述混合排序损失的回归训练是构造携带有list-wise损失信息和pair-wise损失信息的均衡损失函数,利用所述均衡损失函数实现对多模态融合网络模型的训练; 所述构造携带有list-wise损失信息和pair-wise损失信息的均衡损失函数过程如下: 对损失函数引入权重得加权均方误差: ; ; 式中:是采样点的数量;、、、和分别是不同维度的训练权重;代表归一化的真实标签;代表模型的预测结果;是权重向量; list-wise损失信息使用标准化折扣累积增益作为排名算法的效果评估指标: ; 式中:为行为特征的预测顺序; 多模态融合网络模型预测排名与真实排名越接近,排名损失就越小: ; pair-wise损失信息使用CosineLoss作为排名算法的效果评估指标: ; ; 式中:用于测量给定一对张量和的输入所产生的损失;当标志设置为正时,表示计算这对张量的余弦相似度;当设置为负时,计算不相似度;代表一个可控的硬边界;是向量对的参数; 最终的训练损失结合三种损失,表达式如下: ; 其中:、和均为超参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州微帮忙知识科技有限公司,其通讯地址为:310000 浙江省杭州市上城区九堡街道九环路9号1幢B808-2室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励