买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉芯动微电子科技(武汉)有限公司申请的专利面向GPU的人工智能模型部署方法及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115794137B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211550952.1，技术领域涉及：G06F8/61；该发明授权面向GPU的人工智能模型部署方法及设备是由谌竟成;冯雨;敖海设计研发完成，并于2022-12-05向国家知识产权局提交的专利申请。

本面向GPU的人工智能模型部署方法及设备在说明书摘要公布了：本发明提供了一种面向GPU的人工智能模型部署方法及设备，包括：确定GPU内置NPU支持的算子类型，采用预设编译框架将前端模型转换为期望语言模型，对期望语言模型中的算子进行定位；确定期望语言模型的算子属于所述算子类型，剔除期望语言模型中的预定层，将预定参数与卷积层的偏置常量进行合并得到第一单独卷积层，将卷积层与批标准化层进行组合得到第二单独卷积层；获取期望语言模型中每一层的输入数据尺寸和输出数据尺寸，根据其大小确定期望语言模型运行时分配的内存大小；采用GPU编译器和NPU编译器对期望语言模型进行逐层编译并调度执行编译结果，完成模型部署。本发明有利于人工智能模型的泛化性部署。

本发明授权面向GPU的人工智能模型部署方法及设备在权利要求书中公布了：1.一种面向GPU的人工智能模型部署方法，其特征在于，包括： 确定GPU内置NPU支持的算子类型，采用预设编译框架将前端模型转换为期望语言模型，对期望语言模型中的算子进行定位； 确定期望语言模型的算子是否属于所述算子类型，剔除期望语言模型中的预定层，将预定参数与卷积层的偏置常量进行合并得到第一单独卷积层，将卷积层与批标准化层进行组合得到第二单独卷积层；其中，所述确定期望语言模型的算子是否属于所述算子类型包括：逐层遍历期望语言模型中的算子，判断期望语言模型中一层的算子是否属于卷积算子、最大池化算子、减算子、加算子、乘算子或除算子；若判断结果为是则在map.json文件中添加所述一层的算子的运算设备为Device_NPU并返回；若判断结果为否则在map.json文件中添加所述一层的算子的运算设备为Device_GPU并返回； 获取期望语言模型中每一层的输入数据尺寸和输出数据尺寸，根据输入数据尺寸的大小和输出数据尺寸的大小，确定期望语言模型运行时分配的内存大小； 采用GPU编译器和NPU编译器对期望语言模型进行逐层编译，采用预设编译框架调度执行编译结果，完成模型部署，包括：标记为Device_NPU可执行的算子，则通过NPU编译器映射至NPU中运算的第一二进制机器码；标记为Device_GPU可执行的算子，则通过GPU编译器映射至GPU中运算的第二二进制机器码；采用TVM编译框架调度执行第一二进制机器码和第二二进制机器码，完成模型部署。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人芯动微电子科技(武汉)有限公司，其通讯地址为：430000 湖北省武汉市江夏区光谷智慧园13A；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。