北京航空航天大学张润华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京航空航天大学申请的专利面向非结构化稀疏神经网络模型的推理优化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119514686B 。
龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411574853.6,技术领域涉及:G06N5/04;该发明授权面向非结构化稀疏神经网络模型的推理优化方法及系统是由张润华;姜宏旭;汪炜;韩耀郴;李波设计研发完成,并于2024-11-06向国家知识产权局提交的专利申请。
本面向非结构化稀疏神经网络模型的推理优化方法及系统在说明书摘要公布了:本发明公开了面向非结构化稀疏神经网络模型的推理优化方法及系统,属于图像处理技术领域,方法包括:预处理阶段对卷积核数据流进行重构,使用稀疏表示编码非零数据以减少冗余零值计算;编译阶段利用TVM优化规则完成稀疏算子实现、张量核循环匹配、基于预定义草图的循环边界固定等优化以适配不同边缘硬件;推理阶段综合考虑内存复用关系进行特征图数据流重构,降低计算过程中的频繁寻址;相较于现有稀疏加速方案,本发明不仅在保证推理精度的同时提高了模型推理实时性,而且可将方法高效适配至多种推理硬件。
本发明授权面向非结构化稀疏神经网络模型的推理优化方法及系统在权利要求书中公布了:1.一种面向非结构化稀疏神经网络模型的推理优化方法,应用于图像识别中,执行非结构化稀疏神经网络模型的推理加速;其特征在于,该方法包括: 预处理阶段进行模型卷积核数据流重构,使用稀疏表示编码卷积核非零数据; 编译阶段进行并行参数调优,利用TVM框架完成硬件后端适配优化; 推理阶段进行输入特征图数据流重构,将卷积中的三维输入特征图转换成二维中间矩阵形式; 在模型卷积核数据流重构时,先将卷积核降维成二维;再使用CSR稀疏表示卷积核非零数据;最后通过映射函数使卷积核与输入特征图对应位置相匹配; 在模型卷积核数据流重构时,还使用桶排序方法解决多线程计算单元间任务负载不均衡的现象,具体包括: 将稀疏表示后二维矩阵中的每一行按非零数据个数从大到小进行排序并将硬件支持的线程数并行计算数看作桶; 将排序好的工作量从大到小向负载最少的桶中加入工作; 在并行参数调优时,通过完成稀疏算子实现、张量核循环匹配、以及基于预定义草图的循环边界固定,以适配不同边缘硬件; 稀疏算子包括:稀疏卷积核数据处理算子、特征图转换算子和稀疏卷积算子,其中: 稀疏卷积核数据处理算子在预处理阶段使用,编译阶段不使用;特征图转换算子和稀疏卷积算子在TVM中进行编译优化; 在基于预定义草图的循环边界固定过程中,为每一个稀疏算子预先打上标签,在调优过程中使用条件函数对算子进行判断,若算子判定为标签稀疏算子,则执行自定义草图调优空间构建;在自定义草图中使用应用函数进行调优空间确定; 在输入特征图数据流重构时,采用数据聚集的方法对特征图进行重构,将稀疏卷积核需要的特征图数据聚集在一起;然后使用垂直方向上的数据复用对聚集后结果进行处理;最后采用通道优先的方式对多通道特征图进行降维,转换后的矩阵呈现连续的排布。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励