苏州元脑智能科技有限公司王晓飞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉苏州元脑智能科技有限公司申请的专利模型推理方法、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120450057B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510953795.6,技术领域涉及:G06N5/04;该发明授权模型推理方法、电子设备及存储介质是由王晓飞;魏健设计研发完成,并于2025-07-10向国家知识产权局提交的专利申请。
本模型推理方法、电子设备及存储介质在说明书摘要公布了:本申请公开了一种模型推理方法、电子设备及存储介质,涉及计算机技术领域,方法包括:获取待处理数据;对待处理数据进行预填充处理,将预填充处理生成的键值缓存保存至第一缓冲区,并向第二缓冲区传输该键值缓存;第一缓冲区属于预填充节点对应的连接器,第二缓冲区属于解码节点对应的连接器;从第二缓冲区加载键值缓存,并进行解码处理;在解码处理的过程中,监控解码节点内的图形处理器的内存利用率,根据内存利用率,调整键值缓存的存放位置;其中,解码节点设置有计算快速链接内存,上述存放位置包括该计算快速链接内存与图形处理器的内存;输出解码处理结果。通过本申请提供的方案,可以有效保障解码效率,进而保障模型推理过程有效运行。
本发明授权模型推理方法、电子设备及存储介质在权利要求书中公布了:1.一种模型推理方法,其特征在于,所述方法包括: 获取待处理数据; 对所述待处理数据进行预填充处理,将预填充处理生成的键值缓存保存至第一缓冲区,并向第二缓冲区传输所述键值缓存;所述第一缓冲区属于预填充节点对应的连接器,所述第二缓冲区属于解码节点对应的连接器; 从所述第二缓冲区加载所述键值缓存,并基于加载的键值缓存进行解码处理;在解码处理的过程中,监控所述解码节点内的图形处理器的内存利用率,根据所述内存利用率,调整所述键值缓存的存放位置;所述解码节点设置有计算快速链接内存,所述存放位置包括所述计算快速链接内存与所述图形处理器的内存; 输出解码处理结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人苏州元脑智能科技有限公司,其通讯地址为:215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。