买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浩鲸云计算科技股份有限公司申请的专利MaaS平台大模型推理参数自动优化加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120950083B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511445622.X，技术领域涉及：G06F8/60；该发明授权MaaS平台大模型推理参数自动优化加速方法是由罗剑锋;吴小炎;宋许超;雷朋设计研发完成，并于2025-10-11向国家知识产权局提交的专利申请。

本MaaS平台大模型推理参数自动优化加速方法在说明书摘要公布了：本发明提供了MaaS平台大模型推理参数自动优化加速方法，包括通过检测硬件配置、构建标准化容器环境并准备压测数据；采用智能搜索算法遍历多维参数空间，通过压测和性能评分公式自动发现特定硬件和模型组合的最优推理参数；将各种硬件型号和模型版本对应的最优参数组合持久化存储到结构化数据库，形成可复用的参数知识库；在模型部署时自动识别当前硬件环境，从参数库中智能匹配并加载对应的最优参数配置，实现零配置优化部署。本发明通过参数组合可行性验证机制，能够及时发现并排除会导致系统错误或内存溢出的参数组合，确保最终选定的参数既能提升性能，又能保证系统的稳定运行。

本发明授权MaaS平台大模型推理参数自动优化加速方法在权利要求书中公布了：1.MaaS平台大模型推理参数自动优化加速方法，其特征在于，包括： 步骤S1：通过检测硬件配置、构建标准化容器环境并准备压测数据，为后续参数优化建立基础测试环境；具体包括： S11：检测并验证硬件环境，获取图形处理器型号、统一计算设备架构版本和多图形处理器拓扑结构信息； S12：构建标准化运行环境，使用容器技术封装统一计算设备架构驱动和大语言模型推理框架，确保容器内统一计算设备架构版本不高于主机版本； S13：准备压测数据集和压测脚本，用于后续性能测试； 当步骤S11-S13全部完成且无错误时，触发步骤S2； 步骤S2：采用智能搜索算法遍历多维参数空间，通过压测和性能评分公式自动发现特定硬件和模型组合的最优推理参数；步骤S2具体包括： S21：定义推理框架性能参数搜索空间，包括张量并行大小、启用分块预填充、显存利用率、最大序列数和调度器步数五个关键参数； S22：根据预设的参数搜索规则，生成参数组合矩阵；所述智能搜索算法采用分支限界策略，通过监控资源使用率和性能指标变化趋势，动态剪枝搜索空间，减少无效参数组合测试，所述参数搜索规则包括： 规则一：张量并行大小参数按照2、4、8的顺序从小到大尝试，当模型成功启动时固定参数值； 规则二：启用分块预填充参数遍历真和假两个取值； 规则三：显存利用率参数按照0.95、0.9、0.8、0.7、0.6的顺序从大到小搜索，当启动失败时停止尝试更小的值； 规则四：最大序列数参数按照64、128、256、512、1024的顺序从小到大搜索； 规则五：调度器步数参数按照1、2、4、8、16、32、64的顺序从小到大搜索； 其中，当最大序列数或调度器步数参数导致启动失败时，停止尝试更大的值； S23：对每个参数组合执行压测，通过压测脚本向推理服务发送并发请求，记录请求开始时间、首字节返回时间和请求结束时间，计算得出每秒输出词元数和首字节时延指标；所述执行压测具体包括： 启动推理服务并等待服务就绪； 使用压测脚本并发发送请求，请求数据来自预准备的数据集； 实时采集性能指标，包括每秒处理请求数、每秒输出词元数、首字节时延和平均响应时间； 将采集的性能数据结构化存储，供步骤S24使用； S24：使用基于排队论的性能评分公式计算各参数组合的得分，确定最优参数组合；所述性能评分公式为： 得分=甲组词元数×Max乙组首延迟,1000乙组词元数×Max甲组首延迟,1000 其中： 甲组词元数表示参数组合甲的每秒输出词元数； 甲组首延迟表示参数组合甲的首字节时延，单位为毫秒； 乙组词元数表示参数组合乙的每秒输出词元数； 乙组首延迟表示参数组合乙的首字节时延，单位为毫秒； 最大值函数Max确保时延值不小于1000毫秒，所述1000毫秒阈值基于用户体验的心理学研究； 得分大于1表示参数组合甲的性能优于参数组合乙； S25：实施搜索过程优化，包括早停策略和断点续测机制； 步骤S3：将各种硬件型号和模型版本对应的最优参数组合持久化存储到结构化数据库，形成可复用的参数知识库； 步骤S4：在模型部署时自动识别当前硬件环境，从参数库中智能匹配并加载对应的最优参数配置，实现零配置优化部署。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浩鲸云计算科技股份有限公司，其通讯地址为：210000 江苏省南京市雨花台区安德门大街50号B座6楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。