买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利一种基于数字孪生的分布式联邦强化学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117056729B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311105169.9，技术领域涉及：G06F18/214；该发明授权一种基于数字孪生的分布式联邦强化学习方法是由唐伦;戴军;成章超;陈前斌设计研发完成，并于2023-08-30向国家知识产权局提交的专利申请。

本一种基于数字孪生的分布式联邦强化学习方法在说明书摘要公布了：本发明涉及一种基于数字孪生的分布式联邦强化学习方法，属于机器学习领域。首先将真实世界中的物理设备映射到孪生环境中，再对每个设备的孪生体进行初始化全局参数，然后使用全局模型参数在孪生体内运行深度强化学习算法，之后对训练出来的本地深度强化学习模型进行基于孪生映射偏差和训练偏差的可信度加权处理，通过衡量本地训练的深度强化学习模型的可信度来进行全局模型聚合节点的选择，然后在已选择的节点上进行全局模型的聚合，最后将全局模型参数下发至各本地孪生体，开始下一轮训练，直至全局模型收敛。本发明可以在减少设备端与中心服务器之间的冗余通信的同时提高模型的训练质量，降低了通信开销并提高了全局模型的训练速度和精度。

本发明授权一种基于数字孪生的分布式联邦强化学习方法在权利要求书中公布了：1.一种基于数字孪生的分布式联邦强化学习方法，其特征在于：该方法包括以下步骤： S1：将真实世界中的物理设备映射到孪生体中，得到真实世界中物理设备的高保真运行状态；通过计算本地深度强化学习模型参数与当前全局模型参数之间的偏差以及当前时刻的物理实体和其孪生体之间CPU的计算能力映射偏差，得到每个训练节点的模型训练可信度cik，节点的可信度公式表示为： 其中指的是在第k轮迭代过程中训练模型的偏离程度，Δfik指的是在第k轮迭代过程中物理设备i映射的CPU计算频率与真实计算频率之间的差值，fik指的是真实物理设备i在第k轮迭代过程中的计算频率，Δfikfik指的是映射偏差； S2：在孪生环境中，对每个参与联邦学习训练的孪生体在本地进行初始化全局参数Wg； S3：在孪生环境中，孪生体本身基于全局参数Wg进行本地深度强化学习模型训练，并对训练出来的本地深度强化学习模型进行基于孪生映射偏差和模型训练偏差的可信度加权处理；计算每个车辆孪生体在第k轮训练出来的本地深度强化学习模型参数与当前全局模型参数wgk-1之间的偏差，将所述偏差用于模型更新可信度的计算，模型偏差公式表示为： 其中是第i个物理设备的孪生体在第k轮机器学习迭代过程中的训练模型参数，wgk-1是物理设备的孪生体在第k轮迭代过程中使用的全局模型参数； S4：在孪生环境中，通过衡量S3中计算出来的可信度，动态的选择全局模型聚合的节点，并把本地训练出来的深度强化学习模型参数转发给已选择的聚合节点，进行基于可信度的全局模型聚合；衡量各孪生体的训练模型可信度cik，进行聚合节点的选择，节点选择公式表示为： 其中N是参与联邦学习训练的设备数量,ci是第i个设备的模型训练可信度，cN是第N个设备的模型训练可信度； S5：判断当前的全局模型是否已经收敛，如果不收敛，则重复步骤S3至S4，否则将训练出来的全局模型同步到物理世界中的设备； 各参与联邦训练的孪生体将自身的训练参数上传到聚合节点，并进行基于可信度的全局模型参数聚合，基于可信度的全局模型参数聚合公式表示为：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区黄桷垭崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。