中科加禾(北京)科技有限公司孙骞琦获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉中科加禾(北京)科技有限公司申请的专利推理方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119443258B 。
龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411320307.X，技术领域涉及：G06N5/04；该发明授权推理方法、装置、设备及介质是由孙骞琦;韩杰茜设计研发完成，并于2024-09-20向国家知识产权局提交的专利申请。
本推理方法、装置、设备及介质在说明书摘要公布了：本申请提供了一种推理方法、装置、设备及介质。其中方法包括：在接收到推理请求时，获取部署在各GPU上的目标模型的模型参数，该推理请求包括推理任务的信息，推理任务的信息包括输入数据；之后，根据目标模型的结构信息，将推理任务按照计算任务和通信任务的组合方式切分为与该GPU对应的多组子任务；以及，将输入数据切分成与各组子任务对应的输入子数据；之后，根据各组子任务中计算任务与通信任务之间的顺序依赖关系，生成一个与该GPU对应的CUDA流，该CUDA流用于实现并行执行多组子任务；然后，根据该CUDA流调度该GPU上的CUDA内核，以供该GPU依据模型参数和输入子数据并行执行多组子任务，得到与推理请求对应的推理结果。本申请能够降低推理时延。
本发明授权推理方法、装置、设备及介质在权利要求书中公布了：1.一种推理方法，其中，所述方法包括： 响应于接收到针对目标模型的推理请求，获取部署在各图形处理器上的所述目标模型的模型参数，其中，所述推理请求包括推理任务的信息，所述推理任务的信息包括输入数据； 根据所述目标模型的结构信息，将所述推理任务按照计算任务和通信任务的组合方式切分为与该图形处理器对应的多组子任务；其中，各组子任务包括通信任务和计算任务；以及，将所述输入数据切分成与各组子任务对应的输入子数据； 根据各组子任务中计算任务与通信任务之间的顺序依赖关系，生成一个与该图形处理器对应的统一计算设备架构CUDA流；其中，该CUDA流用于实现并行执行多组子任务； 根据该CUDA流调度该图形处理器上的CUDA内核，以供该图形处理器依据所述模型参数和所述输入子数据并行执行多组子任务，得到与所述推理请求对应的推理结果。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中科加禾(北京)科技有限公司，其通讯地址为：100080 北京市海淀区中关村大街1号13层1305室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号