中国科学技术大学张昱获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学技术大学申请的专利一种面向深度学习模型部署的GPU性能评测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116010224B 。
龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211324471.9,技术领域涉及:G06F11/34;该发明授权一种面向深度学习模型部署的GPU性能评测方法是由张昱;刘硕;万嘉诚设计研发完成,并于2022-10-27向国家知识产权局提交的专利申请。
本一种面向深度学习模型部署的GPU性能评测方法在说明书摘要公布了:本发明涉及GPU性能评测领域,公开了一种面向深度学习模型部署的GPU性能评测方法,本发明提出了T‑Profiler框架,引入两阶段解析技术,即“核函数类别解析”和“核函数聚合解析”,可以半自动地获取模型在部署后的多层次性能;通过两阶段的设计,可以适配多种深度学习编译器和多种目标硬件的评测工具;经实验表明,T‑Profiler框架相较于原有的评测系统,可以低代码适配多种应用场景,实现对被测模型性能瓶颈和模块性能的快速统计分析。
本发明授权一种面向深度学习模型部署的GPU性能评测方法在权利要求书中公布了:1.一种面向深度学习模型部署的GPU性能评测方法,深度学习模型在深度学习推理框架上的部署版本称为被测模型,GPU性能评测方法具体包括以下步骤: 步骤一:获取被测模型的核函数执行时间线,核函数执行时间线中核函数与被测模型所依赖的深度学习推理框架相关; 步骤二、进行核函数类别解析,包括: 数据预处理:将从核函数执行时间线中获得的被测模型执行过程中调用的所有核函数名称,拼接在一起,核函数名称之间用换行符分隔;将核函数的计算时延用数组保存,每个计算时延值对应的数组索引由核函数名称的行号唯一确定,得到的数组记为计算时延数组;核函数名的识别:定义核函数的名称识别规则,名称识别规则中包括能够由核函数名称分解生成基本核函数对应记号的基本核函数正则表达式;进行核函数类别解析时,所有满足基本核函数正则表达式的核函数名称均返回一个基本核函数对应的记号,同时会保存下对应的基本核函数的行号;核函数执行时间线中的所有核函数名称分解出的基本核函数对应的记号按顺序保存在一个记号序列中,得到基本核函数记号序列; 步骤三、进行核函数聚合解析,包括: 核函数名的聚合:按“算子-模块-编码层块”的层次将基本核函数聚合为模型结构树,算子包括多个基本核函数,模块包括多个算子,编码层块包括多个模块;模型结构的时延统计:对模型结构树进行后序遍历,对于遍历过程中的任一模型结构A:先对模型结构A所有的子结构统计计算时延,若每个子结构之间不存在算子融合现象,即任意两个子结构包括的基本核函数所处的行号不相同,则模型结构A的计算时延为模型结构A的所有子结构计算时延之和;若任意两个子结构之间存在算子融合现象,模型结构A的计算时延为模型结构A的所有子结构计算时延之和减去行号相同的基本核函数对应的计算时延;数据输出:对模型结构树上的每个模型结构,产生一个模型结构性能记录,得到性能结构树;模型结构性能记录包括模型结构的名称、模型结构树根到模型结构的路径、模型结构信息描述、模型结构的正规式以及模型结构的计算时延数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励