买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院软件研究所申请的专利一种基于迭代筛选与随机掩码学习的模型安全迁移方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116824313B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310765978.6，技术领域涉及：G06V10/778；该发明授权一种基于迭代筛选与随机掩码学习的模型安全迁移方法是由王承杰;赵琛;武延军;吴敬征;郑森文;罗天悦设计研发完成，并于2023-06-27向国家知识产权局提交的专利申请。

本一种基于迭代筛选与随机掩码学习的模型安全迁移方法在说明书摘要公布了：本发明公开了一种基于迭代筛选与随机掩码学习的模型安全迁移方法，其步骤包括：1固定既有未知渠道教师模型权重值，初始化学生模型权重；2使用迭代强化筛选算法对教师模型各层级输出的通道进行筛选，强化高语义信息通道以提高传递信息精度，弱化删除受扰动后导致输出显著变化的通道以避免传递后门攻击触发器模式；3输入目标训练数据集，每轮训练使用不同随机掩码对学生模型输出进行屏蔽以正则化学习教师网络通道输出，可避免持续学习不可信通道并学习全局强语义通道，直至学生模型收敛。本方法可应用于需将不安全来源训练的预训练模型迁移到学生模型使用时，可解决潜在的后门被迁移到学生模型上的危害并提高学生模型精度。

本发明授权一种基于迭代筛选与随机掩码学习的模型安全迁移方法在权利要求书中公布了：1.一种基于迭代筛选与随机掩码学习的模型安全迁移方法，其步骤包括： 1挑选并初始化在目标应用任务所属上级应用任务对应的大型模型作为教师模型Mtea，获取所述教师模型Mtea的预训练模型权重对所述教师模型Mtea的参数权值进行覆盖；挑选并初始化一模型作为学生模型Mstu；所述学生模型Mstu的输出阶层数与所述教师模型Mtea一致； 2将所选目标数据集中的多个训练样本输入到教师模型Mtea中；针对输入的每一训练样本，得到教师模型Mtea的各中间层级输出的特征图构成的特征图集合Featstea，对特征图集合Featstea中的每一特征图使用自注意力机制计算该特征图的内部关联权重， 并使用全局平均池化获取该特征图不同通道的激活特征值均值，Hilk为训练样本i中间层级l对应的特征图的通道k的激活特征值均值；然后针对每一中间层级l，根据该多个训练样本该中间层级l对应的特征图的每一通道k的激活特征值均值进行样本级平均，获取该中间层级l对应的特征图每一通道k的全局平均响应强度Hlk，如果Hilk低于Hlk则将训练样本i中间层级l对应的特征图的通道k标记Channellow，否则标记为Channelhigh； 3初始化扰动参数集合σ，用于对教师模型Mtea每一中间层级输出值进行扰动； 4利用中间层级l的扰动参数σl对该中间层级l对应的特征图Featstea[l]进行扰动，并计算扰动前后的扰动损失教师模型Mtea利用训练样本i对应的扰动后的特征图Featstea[l]完成目标应用任务推理得到输出根据与训练样本i对应的标签计算该中间层级l对应的任务损失根据该训练样本i对应的扰动损失任务损失计算该中间层级l对应的损失值对扰动参数σl进行优化； 5如果优化后的扰动参数σl中通道k的激活特征值均值的方差值大于其训练时对应训练样本中间层级l对应的特征图中通道k的激活特征值均值的方差值，则认定该通道k为安全稳定通道并标记为Channelrobust，否则认定该通道k为不安全稳定通道并标记为Channelnon-robust； 6为同时满足Channelhigh与Channelrobust的通道设置一高权值用于强化对应通道，对同时满足Channellow与Channelnon-robust的通道设置掩盖掩码用于删除对应通道，剩余通道采用对应通道的激活特征值均值作为对应通道的权值；通道的高权值大于该通道的激活特征值均值； 7将所选目标数据集的一样本分别输入到教师模型Mtea和学生模型Mstu当中，得到教师模型Mtea的各中间层级输出的特征图构成的特征图集合Featstea以及教师模型Mtea最后一层输出的概率分布Logitstea，得到学生模型Mstu的各中间层级输出的特征图构成的特征图集合Featsstu以及得到学生模型Mstu最后一层输出的概率分布Logitsstu； 8利用步骤6确定的通道设置对Featstea中每一特征图的各通道进行相应处理，然后计算Featstea与Featsstu中同一中间层级输出的特征图之间的均方差损失并加权求和得到损失值Lossdistill，结合Logitsstu计算目标应用任务的损失值然后对Lossdistill与加权求和所得总损失值Totalloss优化所述学生模型Mstu 9利用目标数据集内的样本依次重复步骤7～8直至所述学生模型Mstu收敛，将训练收敛后的所述学生模型Mstu作为所述大型模型安全迁移后产生的安全模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院软件研究所，其通讯地址为：100190 北京市海淀区中关村南四街4号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。