杭州宇泛智能科技股份有限公司郑东获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州宇泛智能科技股份有限公司申请的专利基于跨模态知识蒸馏的异构模型对齐方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120724393B 。
龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511142634.5,技术领域涉及:G06F18/25;该发明授权基于跨模态知识蒸馏的异构模型对齐方法及系统是由郑东;李俊龙;赵五岳;王涛设计研发完成,并于2025-08-15向国家知识产权局提交的专利申请。
本基于跨模态知识蒸馏的异构模型对齐方法及系统在说明书摘要公布了:本申请实施例提供一种基于跨模态知识蒸馏的异构模型对齐方法及系统,方法包括:通过分析多模态数据的模态特征,将各模态特征映射至同一个向量空间中,根据对比学习算法对向量空间进行特征对齐得到跨模态特征;根据跨模态特征训练教师模型,构建学生模型,对教师模型和学生模型进行结构差异分析,根据分析后的结构差异点进行模型映射,确定经过模型映射后的教师模型和学生模型;将教师模型中间层的输出特征作为中间层知识表示,根据教师模型中间层和学生模型中间层之间的差异构建损失函数,根据中间层知识表示和损失函数进行知识蒸馏得到目标模型,根据目标模型进行跨模态数据识别,本申请能够提高多模态数据处理的效率和准确性。
本发明授权基于跨模态知识蒸馏的异构模型对齐方法及系统在权利要求书中公布了:1.一种基于跨模态知识蒸馏的异构模型对齐方法,其特征在于,所述方法包括: 对多模态数据进行关键特征分析,确定每种模态数据对应的模态特征,将各所述模态特征映射至同一个向量空间,在所述向量空间中对各所述模态特征进行特征映射和特征对齐,确定对应的跨模态特征,其中,所述多模态数据包括图像数据、文本数据以及语音数据; 根据所述跨模态特征训练初始教师模型,构建目标学生模型,对所述初始教师模型的层结构和所述目标学生模型的层结构进行对比分析,判断是否存在结构差异;若层结构间存在基础架构差异,则根据模态转换器对差异层结构进行模态转换,根据经过所述模态转换后的层结构,确定对应的初始教师模型和目标学生模型间的结构映射关系,其中,所述基础架构差异表征层结构间的架构类别差异;若层结构间存在参数规模差异,则采用设定参数匹配策略对差异层结构进行参数空间维度匹配,根据经过所述维度匹配后的层结构,确定对应的初始教师模型和目标学生模型间的结构映射关系,其中,所述参数规模差异表征层结构间的层宽度差异或层深度差异;若层结构间存在连接拓扑差异,则部署轻量级代理模块对差异层结构进行缺失填补,根据经过所述缺失填补后的层结构,确定对应的初始教师模型和目标学生模型间的结构映射关系,其中,所述连接拓扑差异表征残差连接缺失、注意力头缺失以及层结构缺失;若层结构间存在计算粒度差异,则采用多尺度特征融合算法对差异层结构进行融合,根据经过所述融合后的层结构,确定对应的初始教师模型和目标学生模型间的结构映射关系,其中,所述计算粒度差异表征局部感受野与全局注意力机制的运算方式差异,初始教师模型和目标学生模型根据所述结构映射关系进行模型适配,确定对应的经过模型适配后的教师模型和学生模型; 对所述教师模型的中间层进行输出特征提取,确定对应的中间层知识表示,根据教师模型中间层和学生模型中间层之间的差异构建对应的损失函数,根据所述中间层知识表示和所述损失函数进行知识蒸馏,确定对应的经过所述知识蒸馏的目标模型,根据所述目标模型进行跨模态数据识别。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州宇泛智能科技股份有限公司,其通讯地址为:310000 浙江省杭州市余杭区仓前街道时尚万通城3幢24层、25层、26层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励