买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利一种基于深度强化学习的虚拟网络映射方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116647455B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310679575.X，技术领域涉及：H04L41/0894；该发明授权一种基于深度强化学习的虚拟网络映射方法是由王廷;段忠磊设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本一种基于深度强化学习的虚拟网络映射方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的虚拟网络映射方法，其特点是该方法将物理网络和虚拟网络为加权无向图，利用图神经卷积网络将其编码为网络拓扑结构向量，然后把网络拓扑结构向量和网络资源状态向量共同输入到调度器中的策略神经网络，使用近端策略优化算法对其训练。本发明与现有技术相比具有根据当前环境状态动态调整调度决策，协调节点映射和链路映射，在提高物理网络资源利用率的同时，增加映射收益成本比，降低物理网络集群能耗，模型简便，易训练，能显著提高用户体验，为虚拟网络映射领域提供技术支撑。

本发明授权一种基于深度强化学习的虚拟网络映射方法在权利要求书中公布了：1.一种基于深度强化学习的虚拟网络映射方法，其特征在于，该虚拟网络映射方法具体包括以下步骤： 1）根据收集到的多租户自定义的虚拟网络映射请求信息，以及物理网络集群资源信息进行虚拟网络映射建模，所述物理网络为下述（a）式表示的加权无向图Gs： Gs=Ns,Es,An,Al（a）； 其中，Ns为物理网络计算节点集合；Es为物理网络链路集合；An为节点属性；Al为链路属性； 2）根据虚拟网络模型及物理网络集群资源模型进行强化学习建模，其具体包括状态空间、动作空间和奖励机制的设计； 3）利用深度强化学习算法中的近端策略优化算法PPO对映射器进行训练，所述近端策略优化算法PPO采用基于演员-评论家actor-critic架构的三个神经网络，其分别为当前的策略网络、旧的策略网络和价值网络Q； 所述步骤3）具体包括： 3-1：神经网络初始化 初始化当前的策略网络、旧的策略网络和价值网络Q三个神经网络，所述策略网络和策略网络用于输出在某状态下，智能体所执行各个动作的概率；所述价值网络Q用于评估状态的好坏； 3-2：检查当前时间片t是否有虚拟网络映射请求，若当前时间片t有虚拟网络映射请求，则开始映射该虚拟网络； 3-3：利用图卷积神经网络GCN将物理网络和待映射虚拟网络状态嵌入为固定大小的向量，然后与物理节点的可用CPU资源向量、物理链路的可用带宽向量、物理节点的映射状态向量、虚拟节点的CPU资源向量、虚拟节点的映射状态向量和虚拟链路的带宽资源向量组成当前智能调度器可观察到的状态； 3-4：将状态输入到策略网络中，其输出为所有动作的概率，根据该概率进行采样，得到动作，然后计算当前的奖励，并将存储到记忆池； 3-5：进入下一时刻t+1，重复3-2～3-4步骤，直至达到预设的截至时间、每轮最大步数T或所有虚拟网络映射请求全部映射结束； 3-6：从记忆池中取出数据，将状态输入到价值网络Q，利用价值网络Q估计，并由下述（e）～（f）式计算动作优势： （e）； （f）； 其中，为超参数，分别表示折扣因子和步数；为时刻t获得的奖励；和分别为时刻t和时刻t+1的状态价值； 3-7：从记忆池中取出数据，将状态分别输入到策略网络和旧的策略网络，分别得到和，计算重要性权重，并以作为损失函数，反向传播，更新策略网络，所述重要性权重由下述（g）式计算： （g）； 所述由下述（h）式； ]（h）； 其中，为超参数；表示当大于时，取值为，当时,取值为；min函数表示取俩者中的较小值；表示求期望； 3-8：重复上述3-6～3-7步骤若干次，然后用更新的策略网络参数覆盖旧的策略策略网络参数，即令：； 3-9：根据下述（i）式计算折扣回报： （i）； 使用折扣回报与价值网络Q的预测值使用均方误差MSE作为损失函数，反向传播，更新价值网络Q的参数； 3-10：清空记忆池，重复上述3-2～3-9步骤若干轮，直至智能调度器获得的环境奖励收敛于最优值或次优值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。