中科南京信息高铁研究院彭晓晖获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中科南京信息高铁研究院申请的专利基于大语言模型的服务化编排与调度方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121187704B 。
龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511718032.X,技术领域涉及:G06F9/455;该发明授权基于大语言模型的服务化编排与调度方法及系统是由彭晓晖;骆旭东;翟瀚丰设计研发完成,并于2025-11-21向国家知识产权局提交的专利申请。
本基于大语言模型的服务化编排与调度方法及系统在说明书摘要公布了:本发明公开了一种基于大语言模型的服务化编排与调度方法及系统,包括:将模型与其工作模型封装为MSU并基于MCP协议生成通用接口规范文件;为每个推理任务生成唯一的ContextID并在外部共享存储中登记上下文信息;由LLM基于各MSU的UIS文件自动生成模型服务编排图;根据编排图的拓扑关系与上下文依赖,自定义调度器在K8s集群中按上下文亲和度与资源得分对候选节点进行综合评分并选择最优节点部署MSU;通过运行时监控模块的快慢反馈循环对调度权重与资源分配进行自适应优化。本发明在保证系统可扩展性的同时显著降低跨节点通信延迟并提升任务吞吐。
本发明授权基于大语言模型的服务化编排与调度方法及系统在权利要求书中公布了:1.基于大语言模型的服务化编排与调度系统,其特征在于,包括: 模型服务模块:用于将LLM及工作模型封装为具备MCP接口的容器化MSU,并提供模型镜像的管理与存储功能; 上下文协议管理模块:为每个任务分配唯一的ContextID,用于标识上下文信息及任务状态; 服务编排模块:以LLM为决策核心,用于构建和动态更新模型服务编排图,定义模型间依赖; 集群调度与部署模块:运行于K8s集群,包括用于自动化生命周期管理的自定义控制器,及用于实现上下文感知Pod调度的自定义调度器,动态在K8s集群中调度各MSU实例的部署; 运行时监控与优化模块:用于采集系统性能指标,并通过反馈环路调整调度策略与资源配置。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中科南京信息高铁研究院,其通讯地址为:210000 江苏省南京市江宁区创研路266号麒麟人工智能产业园8号楼1-2层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励