武汉大学王丽娜获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉武汉大学申请的专利基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119538302B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411393971.7,技术领域涉及:G06F21/62;该发明授权基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法及装置是由王丽娜;庞智;余方超;赵凯;曾博;徐树旺设计研发完成,并于2024-10-08向国家知识产权局提交的专利申请。
本基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法及装置在说明书摘要公布了:本发明属于人工智能信息安全技术领域,具体公开了一种基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法及装置,针对现有的神经网络隐私推理计算时延高和通信代价大的难题,基于winograd算法的乘法高效卷积特性,结合多粒度权重剪枝算法,最大化线性卷积层的稀疏性,降低乘法密集的卷积层所需的通信代价。同时对非线性激活函数进行协同优化,通过设计新的激活函数敏感性和重要性量化评估算法,引入自适应可学习的多项式函数,提升激活函数的拟合精度,降低多项式替换损失,并使用多阶段知识蒸馏方法保留神经网络模型强大的预测性能,在不影响预测精度的前提下,有效提高隐私保护神经网络推理的计算和通信效率。
本发明授权基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法及装置在权利要求书中公布了:1.一种基于winograd稀疏卷积和可微分激活函数近似的神经网络隐私推理方法,其特征在于,应用于深度神经网络隐私推理系统,包括一个服务端和一个客户端,其中,服务端持有一个训练数据集,用于基于数据集训练生成一个预训练模型;客户端持有若干个隐私推理服务请求数据,客户端用于将请求数据发送给服务端进行隐私推理,所述隐私推理方法包括: S1:将预训练的深度学习模型进行参数变换和稀疏化处理,得到线性卷积层稀疏化之后的神经网络预测模型; S2:将S1输出的模型进行重训练,其中,在每个训练迭代轮次对线性卷积层稀疏化之后的神经网络预测模型的准确率进行评估,若模型精度损失小于预设阈值,则完成线性卷积层稀疏化,得到重训练完成的winograd稀疏化深度学习模型; S3:对S2输出的模型进行激活函数近似和替换处理,得到非线性激活函数近似之后的神经网络预测模型; S4:对S3输出的模型进行重训练,其中,在每个训练迭代轮次结束后测试模型精度,若模型精度损失在可接受范围内,则完成非线性激活函数近似化,得到最终优化模型; S5:基于S4输出的模型进行隐私推理; 其中,S1包括: S1.1:将预训练的深度学习模型输入至卷积层稀疏化模块,通过winograd算法变换进行卷积核重要性评估,根据重要性评估情况将冗余的卷积核从模型中移除; S1.2:进行权重转置,以向量为单位移除冗余的权重,得到线性卷积层稀疏化之后的神经网络预测模型; S3包括: 将步骤S2中重训练完成的winograd稀疏化深度学习模型输入激活函数参数化近似模块,根据每个激活函数所分配的可学习参数敏感性,生成对应的掩码张量,其中,掩码张量值为1的位置对应重要的激活函数,张量值为0的位置对应冗余的激活函数; 对生成的掩码张量进行进一步多项式初始化和迭代拟合替换,得到非线性激活函数近似之后的神经网络预测模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人武汉大学,其通讯地址为:430072 湖北省武汉市武昌区八一路299号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励