买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利一种模型推理性能优化方法、装置、设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120409704B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510858008.X，技术领域涉及：G06N5/04；该发明授权一种模型推理性能优化方法、装置、设备和存储介质是由毛峻雄;赵旭东;吴韶华设计研发完成，并于2025-06-25向国家知识产权局提交的专利申请。

本一种模型推理性能优化方法、装置、设备和存储介质在说明书摘要公布了：本申请公开了一种模型推理性能优化方法、装置、设备和存储介质，包括：响应于接收到推理请求，识别目标推理模型的结构特征，根据结构特征确定目标推理模型的类型，其中推理请求包括请求参数，目标推理模型用于执行推理请求，根据目标推理模型的类型和请求参数确定第一资源分配，获取系统负载数据，根据系统负载数据确定系统负载状态等级，根据第一资源分配和系统负载状态等级确定第二资源分配，根据第二资源分配对推理请求进行计算，得到推理结果，通过该方法，能够优化资源利用率并提升系统吞吐量。

本发明授权一种模型推理性能优化方法、装置、设备和存储介质在权利要求书中公布了：1.一种模型推理性能优化方法，其特征在于，包括： 响应于接收到推理请求，识别目标推理模型的结构特征，根据所述结构特征确定所述目标推理模型的类型；其中所述推理请求包括请求参数，所述目标推理模型用于执行推理请求，其中所述结构特征包括：层数、参数规模以及计算操作类型； 根据所述目标推理模型的类型和所述请求参数确定第一资源分配； 获取系统负载数据，根据所述系统负载数据确定系统负载状态等级； 根据所述第一资源分配和所述系统负载状态等级确定第二资源分配； 响应于根据所述第二资源分配对所述推理请求进行计算，实时监测计算资源的实际利用率，基于第二资源分配的资源配置得到预期利用率，根据实际利用率与预期利用率进行比较计算，得到偏差值，响应于偏差值超出利用率阈值范围，触发资源再分配并更新第二资源分配，并根据更新后的第二资源分配继续对所述推理请求进行计算，得到推理结果； 其中识别所述目标推理模型的结构特征，根据所述结构特征确定所述目标推理模型的类型，包括： 通过模型结构分析读取所述目标推理模型的架构，提取所述目标推理模型架构中的架构特征； 响应于所述架构特征与预设架构特征匹配，则所述目标推理模型为第一类模型； 响应于所述架构特征与所述预设架构特征不匹配，则所述目标推理模型为第二类模型； 根据所述目标推理模型的类型和所述请求参数确定第一资源分配，包括： 响应于所述目标推理模型为第一类模型，则根据所述第一类模型对应的分配策略和所述请求参数，确定所述第一资源分配； 响应于所述目标推理模型为第二类模型，则根据所述第二类模型对应的分配策略和所述请求参数，确定所述第一资源分配，其中所述分配策略根据模型类型预定义的资源分配规则或算法，结合请求参数，确定计算和内存资源的具体分配方式； 将所述目标推理模型的推理请求的计算过程拆分为第一阶段计算和第二阶段计算，其中所述第一阶段计算用于处理输入数据并生成中间值，所述第二阶段计算用于基于中间值生成输出结果； 根据所述请求参数确定初始资源分配； 响应于所述目标推理模型为第一类模型，则对所述第一类模型的所述推理请求的第一阶段计算的资源分配比例大于所述第二阶段计算的资源； 响应于所述目标推理模型为第二类模型，则对所述第二类模型的所述推理请求的所述第一阶段计算的资源分配比例小于所述第二阶段计算的资源； 获取系统负载数据，根据所述系统负载数据确定系统负载状态等级，包括： 所述系统负载数据包括：请求数量、计算资源利用率、存储资源状态和网络延迟； 获取历史系统负载数据； 根据所述历史系统负载数据据创建预测模型； 通过所述预测模型对所述请求数量、所述计算资源利用率、所述存储资源状态和所述网络延迟进行分析，确定所述系统负载状态等级； 通过所述预测模型对所述请求数量、所述计算资源利用率、所述存储资源状态和所述网络延迟进行分析，确定所述系统负载状态等级，包括： 对所述请求数量、所述计算资源利用率、所述存储资源状态和所述网络延迟进行归一化，得到时间序列数据集； 将所述时间序列数据集输入所述预测模型，得到归一化负载指标； 将所述归一化负载指标进行反归一化，得到可读原始数据； 响应于所述可读原始数据大于第一预设负载数据阈值，则所述系统负载状态等级为高负载； 响应于所述可读原始数据小于第二预设负载数据阈值，则所述系统负载状态等级为低负载，其中所述第一预设负载数据阈值大于所述第二预设负载数据阈值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。