买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利一种基于深度强化学习的大规模科学计算工作流调度方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119647929B 。

龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411773309.4，技术领域涉及：G06Q10/0633；该发明授权一种基于深度强化学习的大规模科学计算工作流调度方法是由张冬冬;齐勖劢设计研发完成，并于2024-12-05向国家知识产权局提交的专利申请。

本一种基于深度强化学习的大规模科学计算工作流调度方法在说明书摘要公布了：本发明涉及云计算和深度强化学习领域，公开了一种基于深度强化学习的大规模科学计算工作流调度方法。本发明提出了引入图注意力网络以提取工作流结构特征，并设计了基于遗传算法的深度强化学习采样策略为深度强化学习智能体生成初始样本轨迹，以加速训练过程。实验表明，本发明能在模拟的云环境下可以获得更快的训练速度，按照生成的大规模科学计算工作流调度策略在云计算平台上执行工作流，能够体现出更优的完成时间、能耗和可靠性。

本发明授权一种基于深度强化学习的大规模科学计算工作流调度方法在权利要求书中公布了：1.一种基于深度强化学习的大规模科学计算工作流调度方法，其特征在于，包括： 步骤1，获取科学计算工作流中各任务结点ti的计算量ri、数据量di，以及由有向无环图形式表示的工作流各任务结点间的先后顺序依赖关系，从云计算平台上获取的带宽B、各虚拟机VMk的计算能力ck、故障率fk、能耗因子指标uk，并根据所述获取的信息，建立以优化服务质量为目标的大规模科学计算工作流调度数学优化模型； 步骤2，对步骤1建立的以优化服务质量为目标的调度数学优化模型，进一步使用马尔可夫决策过程进行建模，并采用图注意力网络作为特征提取层，提取大规模科学计算工作流的复杂结构特征，作为后续深度强化学习调度策略网络的状态输入；图注意力网络特征提取层、深度强化学习调度策略网络，以及深度强化学习评论家网络三者共同构成了深度强化学习调度智能体； 步骤3，使用遗传算法来为步骤1建立的以优化服务质量为目标的调度数学优化模型生成若干组次优调度方案，将这些调度方案转化成一系列由状态-动作对组成的采样轨迹； 步骤4，利用步骤3中遗传算法获取的采样轨迹训练深度强化学习调度智能体，并在若干训练迭代之后将深度强化学习调度智能体放入仿真环境中继续训练，输出以各任务结点的执行顺序服务质量最优的调度策略； 所述步骤2中，将云计算环境中各虚拟机的信息，以及任务结点ti的信息和状态，包括任务结点ti的计算量ri、数据量di，以及由有向无环图形式表示的工作流各任务结点间的先后顺序依赖关系，从云计算平台上获取的带宽B、各虚拟机VMk的计算能力ck、故障率fk、能耗因子指标uk、结点是否已被调度Scheduledti，作为ti的原始特征向量vi={τ,ri,di,B,ck,fk,uk,Scheduledti}，然后使用图注意力网络处理工作流对应的有向无环图，提取含工作流拓扑结构信息的特征向量hLti，而图注意力网络每一层中ti的特征向量hlti计算如下: 在上面的公式中，L是图注意力网络的总层数，hl-1ti和hl-1tj是上一层的特征向量，Nti表示与ti相邻的所有任务结点构成的集合,σ是激活函数，W是可学习的权重矩阵，αi,j是任务结点ti和tj之间的注意力系数； 工作流的全局特征HG则由所有任务结点的第L层的特征经过池化得到； 所述步骤4中，深度强化学习调度智能体的训练的基础框架是PPO算法，它的特点是包含两个输出网络模块，即所述深度强化学习调度策略网络，以及深度强化学习评论家网络，其中评论家网络仅用于训练阶段；这两个网络分别根据两个损失函数进行优化，即策略损失LAτ和评论家损失LCτ； 策略损失LAτ用于优化策略网络，由以下算式计算： 其中πθaτ|sτ是云计算平台和工作流处于状态sτ下，选择动作aτ所对应的任务结点的概率，ϵ是一个截断参数，设为0.1~0.3；Aτ则为优势函数，在给定折扣系数γ的前提下，优势函数Aτ由τ’步内的值函数Vsτ’+τ、奖励Rτ’+τ的差值累计求和得到： 评论家损失LCτ用于优化评论家网络对值函数的估计，它使用τ’步内的均方差损失来计算，即以下算式： 其中E表示数学期望，γ是上面提到的折扣系数，Rτ’+τ是上面提到的奖励；而Vsτ是评论家网络MLP2估计工作流当前的全局特征HGτ得出的值函数，由以下算式计算：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区上海市四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。