阿里巴巴(中国)有限公司孙飞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉阿里巴巴(中国)有限公司申请的专利神经网络模型的训练方法、训练系统及可读介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116843002B 。
龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210289171.5,技术领域涉及:G06N3/0495;该发明授权神经网络模型的训练方法、训练系统及可读介质是由孙飞;秦明海;李浩然;朱囯材;高源;黄古玥;张雅文设计研发完成,并于2022-03-22向国家知识产权局提交的专利申请。
本神经网络模型的训练方法、训练系统及可读介质在说明书摘要公布了:本公开提供了一种神经网络模型的训练方法、训练系统及可读介质。该训练方法,包括:使用转置不变的稀疏权重矩阵,在前向传递中通过稀疏矩阵‑矩阵乘法模块计算神经网络模型的激活;使用从权重转置模块接收到的稀疏权重矩阵的转置,在反向传递中通过稀疏矩阵‑矩阵乘法模块计算神经网络模型的激活梯度;使用在前向传递中从稀疏矩阵‑矩阵乘法模块接收的激活,在反向传递中通过采样稠密‑稠密矩阵乘法模块计算神经网络模型的权重梯度。本公开实施例使用转置不变的稀疏权重矩阵进行非零计算来训练神经网络模型,有利地消除了稀疏矩阵‑矩阵乘法模块和采样稠密‑稠密矩阵乘法模块的冗余计算,减少了神经网络模型的训练时间和存储器消耗。
本发明授权神经网络模型的训练方法、训练系统及可读介质在权利要求书中公布了:1.一种神经网络模型的训练方法,包括: 使用转置不变的稀疏权重矩阵,在前向传递中通过稀疏矩阵-矩阵乘法模块计算神经网络模型的激活; 使用从权重转置模块接收到的所述稀疏权重矩阵的转置,在反向传递中通过所述稀疏矩阵-矩阵乘法模块计算所述神经网络模型的激活梯度; 使用在前向传递中从所述稀疏矩阵-矩阵乘法模块接收的激活,在反向传递中通过采样稠密-稠密矩阵乘法模块计算所述神经网络模型的权重梯度; 其中,所述转置不变的稀疏权重矩阵被划分为窗口,多个窗口被调度以用于由基于软件的神经网络的处理器的相应线程处理或者多个窗口被调度到神经网络处理器的相应硬件加速器; 其中,具体包括:响应于输入数据集,基于前一层的激活、当前层的所述稀疏权重矩阵的稀疏权重数据和当前层的所述稀疏权重矩阵的稀疏权重索引,通过所述稀疏矩阵-矩阵乘法模块计算当前层的激活; 通过所述权重转置模块将所述当前层的稀疏权重索引进行转置; 通过所述权重转置模块将所述当前层的稀疏权重数据进行转置; 基于当前层的转置稀疏权重索引、当前层的转置稀疏权重数据和当前层的激活梯度,通过所述稀疏矩阵-矩阵乘法模块计算前一层的激活梯度; 基于所述前一层的激活、所述当前层的稀疏权重索引和所述当前层的激活梯度,通过所述采样稠密-稠密矩阵乘法模块计算当前层的权重梯度;以及 基于所述权重梯度和当前稀疏权重数据,计算下一次迭代的当前层的稀疏权重数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人阿里巴巴(中国)有限公司,其通讯地址为:310052 浙江省杭州市滨江区长河街道网商路699号4号楼5楼508室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励