买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利车联网中基于联邦强化学习的任务卸载与缓存更新方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116437481B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310125267.2，技术领域涉及：H04L67/12；该发明授权车联网中基于联邦强化学习的任务卸载与缓存更新方法是由胡斌杰;吴焯斌设计研发完成，并于2023-02-16向国家知识产权局提交的专利申请。

本车联网中基于联邦强化学习的任务卸载与缓存更新方法在说明书摘要公布了：本发明公开了车联网中基于联邦强化学习的任务卸载与缓存更新方法，步骤如下：构建智能车辆与基础设施通信的车联网场景，包括具有计算与缓存能力的基站与中心云服务器；以车辆任务计算时延和能耗效益之和最小化为优化目标，建立最优化模型；车辆通过感知车联网环境获得输入状态，以卸载策略与资源请求作为输出动作；基站通过车辆历史请求信息获得输入状态，以缓存更新策略作为输出动作；通过车辆与基站在线输出动作得到任务卸载、资源分配与缓存更新策略；通过离线梯度下降与联邦聚合训练网络。本发明将联邦学习引入深度强化学习的离线学习环节中，实现分布式的任务卸载与缓存更新，在高动态的车联网环境中具有更好的可扩展性与可行性。

本发明授权车联网中基于联邦强化学习的任务卸载与缓存更新方法在权利要求书中公布了：1.车联网中基于联邦强化学习的任务卸载与缓存更新方法，其特征在于，包括以下步骤： S1、构建智能车辆与基础设施通信的车联网场景，包括具有计算与缓存能力的边缘服务器与中心云服务器； 需建立车辆与基站的通信模型，其中无线信道模型基于3GPPTR36.885，具体如下： 车辆u与所在范围内的基站通信的信道增益考虑大尺度和小尺度衰落，表示为： ； A为路径衰落参数；为车辆u的衰落系数，服从均值为1的独立复指数分布；为车辆u的阴影衰落，服从具有标准偏差的对数正态分布；表示车辆u与基站k的距离，γ为衰减指数； 车辆与基站的无线通信基于正交频分多址OFDMA，因此车辆u与基站k的带宽由连接至当前基站下所有需要上行的车辆均分，上行信噪比与车辆上行发射功率、信道增益成正比，车辆u与基站k的上行速率为，根据香农公式得： 上式中，为车辆u的上行发射功率，为基站的总带宽,为车辆u与基站k的信道增益，为高斯白噪声功率，为0-1二进制的车辆卸载指示变量，即车辆u与基站k建立连接行为，将任务卸载至基站k对应的边缘服务器，为车辆本地计算指示变量，即当前时隙车辆u的计算任务为本地计算；为0-1二进制的基站缓存指示变量，当时，即基站k对应的缓存服务器缓存了任务类型n，反之则；车辆u与基站k的上行信噪比需满足： = 上式中为噪声门限，当上行信噪比低于噪声门限时，任务卸载失败； 车辆u与基站k的上行时延为： 上式中为任务数据量，为车辆u与基站k的上行速率； 车辆u与基站k的上行能耗为： * 上式中为车辆u的发射功率，为车辆u与基站k的上行时延； 需建立车辆与基站的计算模型，根据车辆的时空分布及车辆与基站的连接行为，车辆u需向边缘服务器k请求计算资源，其中为车辆u向基站k申请的计算资源，需满足如下约束： = ∈0, 上式中，为基站k配备的边缘服务器的总算力； 当车辆u选择本地处理计算任务时，计算时延如下式所示： 上式中，为当前任务的所需算力，为车辆u本地计算资源； 车辆u本地计算的能耗如下式所示： * 上式中，为当前任务的所需算力，为车辆u本地计算资源；为车辆芯片能耗系数，由车辆配备的车载芯片工艺决定； 车辆u卸载于基站k的计算时延如下式所示： 车辆u卸载于基站k的计算能耗如下式所示： * 假设基站k对应的缓存服务器已缓存任务n的数据，无需上行即可进行任务计算，可以有效节约上行资源； 其中基站k的缓存服务器需满足如下约束： 上式中为基站k对应的缓存服务器的总缓存大小，为0-1二进制的基站缓存指示变量，当时，即基站k对应的缓存服务器缓存了任务类型n，反之则； 考虑到基站有限的缓存空间以及内容流行度的时变特性，基站k对应的缓存服务器根据当前车辆任务请求特征更新自身的缓存列表；表示为当前缓存服务器的缓存更新策略，，表示为基站k增加内容n至缓存服务器中，需满足如下约束： 上式表示为每隔时隙最多替换一个缓存内容； S2、以车辆任务计算时延和能耗效益之和最小化的优化目标，建立最优化模型；步骤S2中，以车辆任务计算时延和能耗效益之和最小化的优化目标，建立最优化模型，具体如下： 在时隙t，车辆u请求的计算任务总时延如下： 上式中，为车辆选择本地计算时的计算时延，为本地计算指示变量，为本地计算时延；为在边缘端卸载且缓存命中时的任务总时延，由计算时延组成，，为对应指示变量；为在边缘端卸载但缓存未命中时的任务总时延，由计算时延与传输时延组成； 车辆u请求的计算任务能耗如下： 上式中，为车辆选择本地计算时的计算能耗，为本地计算指示变量，为本地计算能耗；为在边缘端卸载且缓存命中时的任务总能耗，由计算能耗组成，，为对应指示变量；为在边缘端卸载但缓存未命中时的任务总能耗，由计算能耗与传输时延组成； 优化问题表示为最小化车联网边缘计算系统的加权时延能耗和： s.t.C1:∈ C2:=1 C3:∈ C4:= C5:∈ C6: C7: C8:= C9:=1 其中最优化式子中：为缓存替换变量；为车辆集合，为基站集合，为任务的时延容忍，和为加权系数且和为1，与分别为车辆u本次任务卸载的时延与能耗；限制条件中，为上行信噪比，为噪声门限，为基站k对应的缓存服务器缓存容量上限； 第一限制条件C1表示车辆在任务卸载时为二进制卸载，不进行任务分割； 第二限制条件C2表示当前时隙车辆必须做出卸载决策； 第三限制条件C3表示计算资源分配需小于基站对应的边缘服务器最大算力 第四限制条件C4表示基站对应的边缘服务器分配计算资源之和不得超过计算资源上限； 第五限制条件C5表示车辆上行发射功率不能超过发射功率最大值； 第六限制条件C6表示车辆任务的执行时间需小于时延容忍； 第七限制条件C7表示车辆上行信噪比需大于噪声门限； 第八限制条件C8表示基站对应的缓存服务器缓存内容不得超过总的缓存资源； 第九限制条件C9表示每次仅替换一个缓存内容； S3、智能车辆端通过自身任务需求及感知边缘服务器的状态作为联邦深度强化学习网络的输入状态，以智能车辆与边缘端的连接行为、发射功率与请求的计算资源作为输出动作；步骤S3中，构建基于联邦深度强化学习网络的车辆智能体的输入状态，每一车辆智能体的状态表示如下： 其中，表示为任务模型，包括当前任务数据量、所需的计算能力、时延容忍以及任务编号，表示车辆u感知与基站集建立无线连接的信道增益，表示为基站集对应的缓存服务器的是否缓存车辆u的计算任务其中n在车辆任务模型中得到； 每一车辆智能体的动作表示如下： 其中，表示为车辆u当前时隙与基站k的连接行为，特别地，表示为车辆u是否决定本地计算，表示为车辆u的上行发射功率，为车辆u向基站申请的计算资源； 每一车辆智能体的奖励函数设计如下： 其中和为加权系数且和为1；、分别为车辆u此次任务卸载的时延与能耗；为任务的时延容忍；为上行信噪比、为上行噪声容限；表示如下式所示： G,= 当参数小于阈值时，函数输出，当高于阈值时函数输出正值，表征当前卸载决策的服务质量，加权的时延与能耗越低，奖励越高，为判决函数，若卸载决策违反约束条件则给予对应惩罚，满足条件则给予奖励；为判决上行信噪比是否高于信噪门限；判决任务执行时延是否符合时延容忍，为判决车辆向基站请求的计算资源是否过载； 使用联邦学习分布式学习框架与智能体的离线学习环节结合，完成车辆间的合作，周期性的选取若干个车辆根据下式获得全局模型，令车辆u对应智能体的Q-targetNet参数集为,聚合过程如下式所示： 上式中，令为车辆u对应的智能体目标网络的模型参数，为车辆u对应的智能体经验重放缓存池容量，，为全体参与者智能体经验重放缓存池容量之和； S4、基站通过当前边缘服务器的历史缓存请求作为联邦深度强化学习网络的输入状态，以缓存替换策略作为输出动作； 步骤S4中，构建基于联邦深度强化学习网络的边缘节点智能体的输入状态，每一边缘节点智能体的状态表示如下： 其中为短期、中期和长期的一段时间内对每个内容的总的请求次数； 每一边缘节点智能体的动作表示如下： 上式中分别表示基站k对应的缓存服务器是否替换任务类型n； 每一边缘节点智能体的奖励函数设计如下： =+ 上式的奖励作为指导决策网络梯度下降的重要指标，表征执行缓存替换策略后时隙内的带衰减系数的加权缓存命中率之和,其中为基站k对应的缓存服务器时隙内的缓存命中率；分子为整个仿真场景中缓存的任务数据量之和，分母为全局任务数据量，为调节参数，相除表征为全局内容覆盖率，函数表示为括号内为真则为1，反之则为0；全局内容覆盖率越高，奖励越大； 使用联邦学习分布式学习框架与智能体的离线学习环节结合，完成边缘节点间的合作，设基站k对应智能体的Q-targetNet参数集为,聚合过程如下式所示： 上式中为聚合后的全局模型，为各参与聚合基站经验重放缓存池的大小；为参与聚合的基站集合缓存池容量之和； S5、车辆智能体根据状态输出任务卸载与资源分配方案，边缘智能体根据输入状态输出缓存更新，实现车联网服务质量最大化； S6、通过离线梯度下降与联邦聚合训练网络，并更新目标网络权重，将多智能体环境下的各智能体目标网络聚合得到全局模型，再将全局模型分发至各智能体。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。