江南大学;江苏磐智数云科技有限公司吴宣龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江南大学;江苏磐智数云科技有限公司申请的专利边缘节点调度系统、边缘节点调度方法及边缘节点获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119363753B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411920485.6,技术领域涉及:H04L67/1008;该发明授权边缘节点调度系统、边缘节点调度方法及边缘节点是由吴宣龙;刘智康;王浩伟;徐俊杰;周浩杰;王宁设计研发完成,并于2024-12-25向国家知识产权局提交的专利申请。
本边缘节点调度系统、边缘节点调度方法及边缘节点在说明书摘要公布了:本发明涉及无线通信领域,尤其是指边缘节点调度系统、边缘节点调度方法及边缘节点,所述边缘节点调度系统包括:数据请求模块、管理后端模块、性能收集器、调度器、预测器以及控制器,数据请求模块负责接收端侧设备请求,并分类放入动态队列;管理后端模块则根据资源和任务需求,调用并发推理模型批处理数据,生成网络性能指标;性能收集器持续监测并收集这些指标及资源利用率;调度器据此制定节点资源调度策略;预测器预测资源干扰,辅助调度器决策;控制器依据调度策略切换模型、调整batchsize及并发数,实现资源动态优化。本发明通过创新的边缘节点调度框架,实现了数据的本地化高效处理,提升了AI推理任务的执行效率,并显著提高了资源利用率。
本发明授权边缘节点调度系统、边缘节点调度方法及边缘节点在权利要求书中公布了:1.一种边缘节点调度系统,其特征在于,包括以下模块: 数据请求模块,用于接收端侧设备的多个请求数据,每个请求数据包含一个服务延时目标指标值,并将多个请求数据根据其数据类型放入不同的动态任务请求队列中; 管理后端模块,用于从所述动态任务请求队列中取出请求数据,根据当前节点的计算资源情况和任务需求调用并发推理模型对所述请求数据进行批处理,得到网络性能指标值;其中,所述网络性能指标值包括并发推理模型参数、队列积压数据、准确率、吞吐量和服务延时目标指标值; 性能收集器,用于实时监测并定期收集所述网络性能指标值和计算资源利用率; 调度器,用于对所述网络性能指标值和所述计算资源利用率进行数据处理,得到用于在动态计算资源环境中分配任务的节点资源调度策略,包括: 构建节点资源调度模型,将所述网络性能指标值和所述计算资源利用率作为系统运行状态数据输入到所述节点资源调度模型中,基于吞吐量和服务延迟目标构建奖励函数,以最大化所述奖励函数的值为目标进行迭代训练,得到训练后的节点资源调度模型; 基于所述训练后的节点资源调度模型,输入当前系统运行状态数据,得到奖励值最大的动作,即节点资源调度策略;其中所述奖励函数Rs,a用于权衡系统的吞吐量和服务延迟目标,其表达式如下: 其中,α、β、γ均为超参数;acci表示吞吐量的准确率;accslo表示服务延迟目标的准确率;Ti表示第i段时间的吞吐量;sloi表示第i段时间的服务延迟目标;表示第i段时间的GPU利用率;s表示当前系统运行状态数据,包括当前运行的并发推理模型精度、并发推理模型实例数量、每个并发推理模型的批处理大小、任务队列中尚未处理的请求量、并发推理模型输出结果的准确率、平均吞吐量、服务延迟的约束目标、CPU使用率、内存占用率、GPU使用率和GPU显存使用率;a表示选择的节点资源调度策略,包括需要运行的并发推理模型精度、并发推理模型实例数量以及模型运行指定的批处理大小; 预测器,用于对所述网络性能指标值和所述计算资源利用率进行数据处理,得到所述调度器每次迭代计算输出的当前节点资源调度策略的评估结果,并将所述评估结果反馈给所述调度器,以改变所述调度器选择当前节点资源调度策略的概率;其中,得到所述调度器每次迭代计算输出的当前节点资源调度策略的评估结果,包括: 获取所述调度器的当前节点资源调度策略,基于所述当前节点资源调度策略,所述预测器采用已经经过预训练的双层深度神经网络,得到系统服务延迟目标和吞吐量的预测值; 计算所述服务延迟目标和吞吐量的预测值和服务延迟目标和吞吐量的实际值之间的差值百分比Δx,根据所述差值百分比Δx和设定阈值的比较结果,得到当前节点资源调度策略的评估结果;同时,通过所述差值百分比Δx来更新所述双层深度神经网络的参数; 以及控制器,用于根据所述节点资源调度策略,切换并发推理模型进行数据处理以及重新分配网络计算资源。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江南大学;江苏磐智数云科技有限公司,其通讯地址为:214122 江苏省无锡市滨湖区蠡湖大道1800号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。