买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利基于通用经验博弈强化学习的多机空战决策方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116468121B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310232390.4，技术领域涉及：G06N5/04；该发明授权基于通用经验博弈强化学习的多机空战决策方法是由何宇航;王重;李俨设计研发完成，并于2023-03-12向国家知识产权局提交的专利申请。

本基于通用经验博弈强化学习的多机空战决策方法在说明书摘要公布了：本发明涉及一种基于通用经验博弈强化学习的多机空战决策方法，选取战机的状态空间向量，作为智能体结构的输入；智能体包含动作和评价神经网络，为LSTM神经网络与全连接神经网络。计算支付矩阵，求解在当前支付矩阵下的纳什均衡，优化当前第k架战机的新策略。采用强化学习算法进行求解，产生新的智能体添加到相应的策略集合中，并重复直到算法达到指定训练迭代次数。当整个博弈框架训练到指定迭代次数后，提取最新训练出的智能体，输入相关信息，可输出机动动作，完成一步决策。本发明能够形成复杂的机动动作和协同战术。相对于一般的多智能体强化学习算法训练得到的智能体，多机之间的决策更加具有协同性，同时也说明了本发明方法的有效性。

本发明授权基于通用经验博弈强化学习的多机空战决策方法在权利要求书中公布了：1.一种基于通用经验博弈强化学习的多机空战决策方法，其特征在于步骤如下： 步骤1：仿真平台的战机为三维空间下的动力学模型，每个战机的控制输入为滚转角和两个控制输入Nx,Nz，且进行编码；Nx表示切向过载，Nz表示法向过载；机动动作包含定常、减速、加速、左转弯、右转弯、拉起与俯冲七种； 所述仿真平台的状态更新方程： st+1＝fst,um1,um2,…,umi,…,umN,T f表示建立微分方程组构成的状态更新函数，umi表示第i架战机采取的基本机动动作，T表示仿真时间步长； 步骤2：每个战机的智能体包含动作神经网络和评价神经网络，神经网络结构为LSTM神经网络连接全连接神经网络； 空战态势即观测量的序列为LSTM神经网络的输入，提取全局状态信息作为输出； 该输出为全连接神经网络的输入，在动作网络中全连接神经网络的输出层加入softmax函数将输出值归一化为概率形式，输出为步骤一中的7种机动动作，评价网络输出为值函数的值； 所述全连接神经网络采用ReLu激活函数； 步骤3：每架战机具有一个策略集合，每个策略集合中设有多组动作神经网络和评价神经网络；每组神经网络的输入为空战态势序列； 在每架战机的策略集合中添加一组随机参数的动作和评价神经网络，对K架战机的策略集合初始化； 步骤4：对于K架战机的策略集合，支付矩阵维度随迭代次数变化为： ni1×ni2×…×niK→ni+11×ni+12×…×ni+1K,ni+1j＝nij+1 其中：nij表示第i轮迭代中第j个战机所拥有的策略，由于在一轮智能体优化中每个战机都会产生一个新的最优智能体，所以有ni+1j＝nij+1； 在每架战机的策略集合中添加一个新策略的情况下，其中支付矩阵缺失项为： 表示在第w轮迭代，第k个战机所产生的新策略； 通过下式进行空战仿真得到支付矩阵缺失项的值； 元博弈中策略sk就是智能体决策模型，eval_otoksk,sj是把智能体sk看做己方且sj看作敌方的空战一对一态势评估； 空战态势评估上选择空战态势：以及输赢判定奖励：的加权和作为智能体的空战能力评估： Re＝ω1×Ra+ω2×Rw,ω1+ω2＝1； 步骤5：在当前支付矩阵下使用α-rank算法得到近似纳什均衡，即每架战机从其策略集合中选出一组动作和评价神经网络，所选出的多组神经网络形成策略组合； 步骤6：在步骤5中得到的策略组合下，除第k架战机外，其他K-1架战机采用其相应选出的动作网络作为决策机构控制自身机动，采用PPO算法作为基础的强化学习算法优化当前第k架战机的新策略，产生新的动作和评价网络添加到第k架战机的策略集合中；依次对每架战机优化，同时将产生的新智能体添加到相应的策略集合中，返回步骤4，直到满足设定的训练迭代次数； 步骤7：选取最新各博弈方智能体作为决策者，提取其智能体动作神经网络作为决策网络，观测量的空战态势状态向量为LSTM神经网络的输入，经过LSTM神经网络和全局神经网络输出机动动作，完成一步决策。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。