浙江大学何水兵获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利基于神经网络中数据稠密特性的智能训练加速方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115293339B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210904611.3,技术领域涉及:G06N3/063;该发明授权基于神经网络中数据稠密特性的智能训练加速方法及系统是由何水兵;陈平;詹璇设计研发完成,并于2022-07-29向国家知识产权局提交的专利申请。
本基于神经网络中数据稠密特性的智能训练加速方法及系统在说明书摘要公布了:本发明提出了一种基于神经网络中数据稠密特性的智能训练加速方法,该方法通过对模型进行预训练收集相关数据信息与性能模型信息,并利用深度学习网络的稠密特性结合压缩与解压缩算法动态减少GPU与CPU之间所需传输的数据量,从而提升系统整体性能。本发明还提出了一种基于神经网络中数据稠密特性的智能训练加速系统,该系统包括:数据采集模块、稠密数据压缩率决策模块、选择性压缩决策模块以及训练模块;利用本发明系统进行神经网络训练,能有效提升训练速度和系统整体性能。
本发明授权基于神经网络中数据稠密特性的智能训练加速方法及系统在权利要求书中公布了:1.一种基于神经网络中数据稠密特性的智能训练加速方法,其特征在于,该方法在神经网络模型训练时,对第一轮以后的每一轮训练的训练数据在GPU与CPU之间转移时进行选择性有损压缩、解压缩,加速神经网络模型的训练;其中,选择性有损压缩、解压缩包括: 压缩率选择: 在神经网络模型训练的第一轮训练过程中收集每层数据的大小、每层无压缩时的前向传播、反向传播的训练时间、GPU与CPU之间的转移带宽; 根据收集到的数据信息以及有损压缩算法的性能模型确定每层数据的压缩率的最大值和最小值,当同时满足如下两个公式时,获得该层数据的P最大值Top_t,t为数据的编号,获得最小压缩率: sb ‑ s×PMAX b = tcsb ‑ s×PMAX b = tdc式中,s为每层数据的大小,b为GPU与CPU之间的转移带宽,tc、tdc分别表示压缩、解压缩的操作时间;P是调整压缩率的超参数,压缩率C = 1 ‑ PMAX,MAX是有损压缩算法中P设定的最大值; 同时满足如下两个公式时,获得该层数据的P最小值Bottom_t,获得最大压缩率CMAX; s×PMAX b = hfs×PMAX b = hb式中,hf与hb分别表示前向传播与后向传播过程的训练时间; 依据压缩率的最大值和最小值选择每轮训练的训练数据在GPU与CPU之间转移时的压缩率; 是否压缩选择:根据收集到的数据信息计算压缩前后的转移开销,若压缩后的开销小于未压缩数据的转移开销,则在模型训练过程中输出数据转移时进行对应的压缩解压缩,反之不压缩; T’s = max2×s b – hf – hb , 0Ts,r,tc,tdc = tc + tdc + Of + ObOf =maxs×PMAX b – hf , 0Ob =maxs×PMAX b – hb , 0式中T’s表示未压缩数据s的转移开销,Ts,r,tc,tdc表示压缩后的数据对应的转移开销。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励