复旦大学姜育刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉复旦大学申请的专利一种基于多教师知识蒸馏的跨域小样本识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115423000B 。
龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211001654.7,技术领域涉及:G06F18/214;该发明授权一种基于多教师知识蒸馏的跨域小样本识别方法是由姜育刚;傅宇倩;谢宇;付彦伟;陈静静设计研发完成,并于2022-08-19向国家知识产权局提交的专利申请。
本一种基于多教师知识蒸馏的跨域小样本识别方法在说明书摘要公布了:本发明属于计算机技术领域,具体为一种基于多教师知识蒸馏的跨域小样本识别方法。本发明方法包括:构建特征提取网络模型,小样本分类器,构建动态领域拆分模型;连接特征提取网络以及小样本分类器构成源域教师模型;连接特征提取网络以及小样本分类器构成目标域教师模型;连接特征提取网络以及小样本分类器,对特征提取网络中的特定几层插入动态领域拆分模型,构成领域可拆分的学生模型;本方法用源域数据和目标域数据都各自学习一个教师模型,然后以知识蒸馏的方法将两个教师模型中的知识逐步蒸馏到学生模型中。本发明可以在源域和目标域存在巨大领域差异的情况下,在仅有少量标注且类别未可知的目标域测试数据上达到较好的类别识别能力。
本发明授权一种基于多教师知识蒸馏的跨域小样本识别方法在权利要求书中公布了:1.一种基于多教师知识蒸馏的跨域小样本识别方法,其特征在于,具体步骤如下: 1搭建三个模块:特征提取网络、小样本分类器、动态领域拆分模型; 1.2采用ResNet-10,作为特征提取网络模型;使用该特征提取网络模型,给定源域或者目标域数据,抽取得到对应的源域特征FS、目标域特征FT; 1.2采用GNN,作为小样本分类器;使用该小样本分类器,给定任意一个元学习任务{S,Q},得到Q的概率分布P; 1.3动态领域拆分模型,其功能在于动态地将网络的特定层拆解为源域相关的部分和目标域相关的部分;进一步的,就是定义一个领域门矩阵M,该矩阵M的维度与需要拆解的卷积核的数量一致;相对应地,M中第i个元素的值Mi表示的就是第i个卷积核分配给源域的概率,而1-Mi则表示这个卷积核被分配给目标域的概率;进一步引入Gumbelsoftmax,实现将浮点M二值化,当Mi输出为1时表示源域通路激活,而目标域通路关闭;反之,当Mi输出为0时表示源域通路关闭,而目标域通路激活; 使用该动态领域拆分模型,给定网络某层的输出特征源域输出FS、目标域输出FT,通过矩阵M的数值确定最终的源域输出为FS·M,目标域输出为FT·1-M;设置矩阵M为可学习参数,随着网络训练共同更新; 2基于三个模块形成三个网络模型:源域教师模型、目标域教师模型、领域可拆分的学生模型; 2.1连接特征提取网络以及小样本分类器,构成源域教师模型; 2.2连接特征提取网络以及小样本分类器,构成目标域教师模型; 2.3连接特征提取网络以及小样本分类器,对特征提取网络中的特定几层插入动态领域拆分模型,构成领域可拆分的学生模型; 3只使用源域数据训练源域教师模型,训练方法为:从源域数据集中随机采样一个元学习单元作为网络输入,依次通过特征提取网络、小样本分类器,得到模型对于此次查询集中各个图片类别的结果预测概率分布,然后通过跟正确类别之间的距离得到训练损失函数; 4只使用目标域数据训练目标域教师模型,训练方法为:从目标域数据集中随机采样一个元学习单元作为网络输入,依次通过特征提取网络、小样本分类器,得到模型对于此次查询集中各个图片类别的结果预测概率分布,然后通过跟正确类别之间的距离得到训练损失函数; 5使用同时来自源域和目标域的数据训练领域可拆分学生模型,训练方法为:从源域和目标域数据集中各自采样一个元学习单元,将两个学习单元都通过标准通路和领域通路这两个通路分别得到概率预测结果;其中: 所述标准通路是依次通过特征提取网络、小样本分类器,不对特征提取网络进行领域拆分,即不管是来自哪个领域的数据,所有的卷积核都会被激活; 所述领域通路是依次通过特征提取网络、动态领域拆分模型、小样本分类器,对特征提取网络进行拆分,即只有对应领域门Mi的输出值为1时,该卷积核才对当前领域的数据激活; 然后执行两个子任务: 5.1小样本元学习任务:通过跟正确类别之间的距离得到训练损失函数; 5.2知识蒸馏任务:将学生模型的预测概率分布与对应教师模型概率分布进行比较,得到训练损失; 6在目标域未知类别测试数据上对领域可拆分的学生模型以小样本元分类任务进行性能测试,将数据通过标准通路和普通通路得到两个不同的概率预测结果,将两个预测概率取平均作为最终的预测结果,该概率分布中得分最高的类别即为此次的预测类别;重复该步骤若干次,得到最终的模型准确率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人复旦大学,其通讯地址为:200433 上海市杨浦区邯郸路220号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励