买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学(威海);中国空间技术研究院申请的专利基于DQN的低轨卫星网络负载均衡智能路由方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119728523B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410852721.9，技术领域涉及：H04L45/02；该发明授权基于DQN的低轨卫星网络负载均衡智能路由方法是由马若飞;孙子奇;王瑞松;蒙静;刘功亮;李帅;李希媛设计研发完成，并于2024-06-28向国家知识产权局提交的专利申请。

本基于DQN的低轨卫星网络负载均衡智能路由方法在说明书摘要公布了：本发明涉及低轨卫星网络通信技术领域，具体的说是一种基于DQN的低轨卫星网络负载均衡智能路由方法，采用时间切片的方法，对每个时隙静态拓扑中的节点连接关系、负载情况进行学习，对目标卫星间距离、节点拥塞度和链路可用带宽等多目标进行联合优化，对每个节点给出优化的下一跳选择策略，对于不同时隙更新链路连接性矩阵，继续训练以更新网络参数，本发明在时延、网络吞吐量上都具有更好的表现，降低了网络中各卫星节点的复用，缓解了网络中负载不均的问题，提升了网络性能。

本发明授权基于DQN的低轨卫星网络负载均衡智能路由方法在权利要求书中公布了：1.一种基于DQN的低轨卫星网络负载均衡智能路由方法，其特征在于，结合卫星路由问题，将路由过程形式化为MDP，先设计代理的状态、行为和奖励表示，其中，1状态：观察到的状态由三个部分组成，包括数据包当前所在的卫星节点、相邻卫星链路的负载情况以及各卫星节点之间的连通性和距离，划分为位置关系矩阵、负载矩阵和距离矩阵三个状态矩阵，合并为一个状态；2行动：动作被定义为数据包选择的一个输出接口，考虑网格状的卫星网络，每个节点连接到四个相邻的节点，它们有规则的方向：东、西、南、北，分别代表四个输出方向，同时还考虑四条链路的实时连通性进行判断，给予不同的输出值；3奖励：奖励的定义取决于设定的目标，应该实现的最重要的目标是减小数据传输的时延和降低各链路和节点的拥塞，目标函数如下： reward＝-ω1*dn-ω2*Cn+ω3*Bn13， 其中，reward表示奖励，dn表示节点n到目的节点的距离，Cn表示节点n的拥塞度，Cn＝qnQm，qn表示当前节点n队列长度，Qm表示最大队列长度，Bn表示该链路的剩余可用带宽，ω1,ω2,ω3表示权重系数，ω1+ω2+ω3＝1，权重系数可根据网络情况进行调整； 算法流程分为离线学习和在线决策两个阶段，DQN路由模型的离线阶段利用历史流量数据以及模拟数据进行学习：首先对数据进行预处理，然后根据奖励函数选择每一跳动作，再存储每一跳动作及其前后状态，状态中包括连通性、节点拥塞度、链路负载多维矩阵，最后利用多通道卷积神经网络CNN进行学习； 在线阶段，首先在时隙内计算卫星网络中各节点之间的连接情况以及距离并将网络拓扑信息传递给各卫星节点，设置数据包数量、大小以及初始化各节点状态并分配服从泊松分布的初始负载；然后从源节点开始向与其建立链路的卫星节点发送请求以获取各链路的负载情况以及该节点到目的节点的距离，根据链路负载和距离计算目标函数值，选择最优值为下一跳节点；此后，不断重复上述过程直到到达目的节点，同时当进入下一时隙时更新网络拓扑信息，更新状态矩阵，存储当前状态动作继续学习，进行经验重放和网络参数的更新，以获取此网络状态下更优的路由决策； DQN路由模型被描述为马尔可夫决策过程MDP，是一个四元组s,a,s’,r，这些都是关于智能体做出最大化累积奖励的决策，其中s指的是智能体观察到的状态空间，a表示与决策有关的行动空间，s’指的是经过行动a后到达的下一个状态空间，r表示智能体得到的奖励，借助深度神经网络的函数逼近能力，可以解决具有高维输入的更复杂的决策问题，其中，动作价值函数即Q函数表示在策略π的指导下，根据状态s，采取行为a所获得的期望回报，策略π表示状态到行为的映射，相当于智能体的决策策略，并根据不同的状态选择不同的行为，即a＝πs，智能体在策略π的指导下，Q函数的定义如下： Qs,a＝Eπ[Gt|St＝s,At＝a]9， 其中Gt表示折扣奖励，定义如下： 其中γ为折扣因子，即未来的期望奖励在当前时刻的价值比例，γt随训练过程迭代减小，γt越小表示未来的奖励对当前时刻的奖励影响越小，Q函数的贝尔曼方程表示如下： 式中Rst,at表示智能体在st时采取at所获得的即时奖励，通过选取最大动作价值函数求解最优行为策略的公式表示如下： DQN算法通过行为的奖励值构造算法训练的标签，并且其中的经验回放和目标网络有效的解决了数据相关性和非静态分布的问题； 模型场景考虑小型低轨卫星星座，部署了一个8×8的单层网状星座，采用时间切片的方法，认为在同一时隙内的网络拓扑结构是固定的，网状结构认为每个卫星节点最多存在两条同轨链路和两条相邻轨道链路，在此基础上考虑极地区域以及动态拓扑等影响更新卫星间的连接性，在这里考虑不同时隙内的路由决策，并设定时长更新网络拓扑，数据流从源卫星节点经过每一跳路由选择最终到达目的卫星节点，过程中各卫星节点可获取该时隙下链路连接情况以及到各节点间距离；由于通信发生在自由空间环境中，卫星间通信主要受到自由空间路径损耗FSPL和加性高斯白噪声AWGN的影响，考虑从卫星节点vk,i到下一跳vk,i+1的单个数据包，卫星vk,i与vk,i+1之间的FSPL表示为 其中，表示链路ek,i,i+1的长度，f是载频，c是光速，卫星vk,i与vk,i+1的信噪比可表示为 其中Ptr为发射功率，Gtr和Gr分别为卫星发射和接收天线的增益，kB为玻尔兹曼常数，Te为等效噪声温度，B为信道带宽，则卫星vk,i与卫星vk,i+1之间可实现的最大数据传输率可表示为： 考虑通过备选路径Pk传输后的第p个数据包的总端到端延迟可以表示为 其中，表示第p个数据包在链路ek,i,i+1上所需的传播延迟；为路径中节点vk,i处的传输时延，psize是单个数据包的大小；为数据包p在节点vk,i处所需的排队延迟，其中服从泊松分布，如果在路由决策周期中选择第k条路径进行数据传输，则源节点到目的节点转发的数据包总数可表示为其中为选择路径k时源节点vk,s的数据发送速率，则路由决策周期的丢包率计算可以表示为 lossk＝1-packk5， 其中，pack为在路由决策周期中选择路径k时到达vk,d的数据包数； 卫星网络的约束条件如下： 1带宽约束：为保证数据可以在链路中正常传输，要求任务所需的带宽不超过路径上所有链路可用带宽的最小值： BP≤minBij,Bjk,…,Bpq6， 其中，BP表示任务所需带宽，每个子链路的带宽用Bij表示； 2链路连通性约束： 在同一个时隙内，网络拓扑可认为是固定的，链路的连接情况可根据链路持续时间进行判定，为保证数据传输期间链路是保持连通的，要求路径上所有链路持续时间的最小值不小于设定的时隙长度： mincij,cjk,…,cpq≥T7，其中，T为时隙，每个子链路的带宽用cij表示； 3传输速率约束： 任务传输速率要求不能超过设定的最大传输速率： Rp≤Rm8，其中，Rp表示任务传输速率，Rm表示设定的最大传输速率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学(威海);中国空间技术研究院，其通讯地址为：264200 山东省威海市文化西路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。