买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种模型训练、上行资源占用方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116321434B 。

龙图腾网通过国家知识产权局官网在2026-01-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310166096.8，技术领域涉及：H04L41/00；该发明授权一种模型训练、上行资源占用方法、装置、设备及介质是由崔琪楣;王英泽;李雄;陈宇;陶小峰;张平设计研发完成，并于2023-02-22向国家知识产权局提交的专利申请。

本一种模型训练、上行资源占用方法、装置、设备及介质在说明书摘要公布了：本申请提供了一种模型训练、上行资源占用方法、装置、设备及介质，所述方法包括：基于马尔科夫决策对主动式网络架构进行建模，确定主动式网络架构中用户设备的状态模型、动作模型和奖励模型；通过多智能体强化学习策略对主动式网络架构中用户设备的状态模型、动作模型和奖励模型构建的网络模型进行训练，得到训练后的用户设备的Actor网络和Critic网络。本申请中，通过多智能体强化学习策略集中训练分布式执行的方式，可以基于主动式网络的全局信息对用户设备的资源占用模型进行训练，从而解决了主动式网络中上行传输发送方无法实时准确获取信道状态反馈等全局信息从而无法进行合理的资源占用的缺陷问题。

本发明授权一种模型训练、上行资源占用方法、装置、设备及介质在权利要求书中公布了：1.一种模型训练方法，其特征在于，包括： 基于马尔科夫决策对主动式网络架构进行建模，确定主动式网络架构中用户设备的状态模型、动作模型和奖励模型； 通过多智能体强化学习策略对主动式网络架构中用户设备的状态模型、动作模型和奖励模型构建的网络模型进行训练，得到训练后的用户设备的Actor网络和Critic网络； 所述通过多智能体强化学习策略对主动式网络架构中用户设备的状态模型、动作模型和奖励模型构建的网络模型进行训练，包括： 构建用户设备的Actor网络、Critic网络、目标Actor网络和目标Critic网络； 初始化Actor网络、Critic网络、目标Actor网络、目标Critic网络的网络参数，经验回放池和最大训练次数； 随机确定每个用户设备的初始状态； 在每个时隙内，对于每个用户设备，在当前的状态下执行动作，确定获取的回报值和下一状态； 将所述当前的状态、所述动作、所述回报值和所述下一状态存入所述经验回放池；并将当前的状态更新为所述下一状态； 对每个用户设备，从所述经验回放池随机采样多个样本，基于所述样本确定每个用户设备的目标网络估计值； 基于所述目标网络估计值更新用户设备的Actor网络和Critic网络； 在所有用户设备的Actor网络和Critic网络更新后，软更新用户设备的目标Actor网络和目标Critic网络； 重复执行所述在每个时隙内，对于每个用户设备，在当前状态下执行当前动作，确定获取的回报值和下一状态，直至达到所述最大训练次数为止； 所述用户设备的状态模型为： 其中，Lt为用户设备的位置集合，RB为无线资源块，Nb为时隙内所有信道可以提供的无线资源块的数量； 所述用户设备的动作模型为： Ait＝{a1t,a2t,...,aNt} ait＝{pi,c,Ui,sti,c,m} 其中，Ui为第i个用户设备关联的接入点集合，sti,c,m为第c个子信道的第m个无线资源块是否被第i个用户设备占用，pi,c是第i个用户设备为第c个子信道所分配的功率； 所述用户设备获取的奖励模型为： 其中，sti,c,m为第c个子信道的第m个无线资源块是否被第i个用户设备占用，Nb为时隙内所有信道可以提供的无线资源块的数量，为用户设备在时隙t内的数据，为用户设备的数据中第l个独立子部分al的信噪比，Nr为时隙内所有信道可以提供的无线资源单元的数量； Actor网络表示为： μiSi；θi 其中，Si表示Agenti的观测信息，θi是其Actor网络的参数； Critic网络表示为： qiS1,S2,...,SN,A1,A2,...,AN；ωi 其中，ωi是其Critic网络的参数； 目标Actor网络表示为： μ'iSi；θ'i 其中，θ'i是其Actor网络的参数； 目标Critic网络表示为： q'iS1,S2,...,SN,A1,A2,...,AN；ω'i 其中，ω'i是其Critic网络的参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。