买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京科技大学;北京科技大学顺德研究生院;哈尔滨工业大学(威海);青岛大学申请的专利一种D2D环境下基于深度强化学习的交接卸载方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115103338B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210540150.6，技术领域涉及：H04W4/70；该发明授权一种D2D环境下基于深度强化学习的交接卸载方法及装置是由郭祥贵;陈笑言;朴虹霖;杨婉怡;考永贵;车伟伟设计研发完成，并于2022-05-18向国家知识产权局提交的专利申请。

本一种D2D环境下基于深度强化学习的交接卸载方法及装置在说明书摘要公布了：本发明公开了一种D2D环境下基于深度强化学习的交接卸载方法及装置，该方法包括：建立可同时实现用户之间D2D卸载，基站之间任务交接的边缘计算卸载环境并初始化相关环境参数；基于卸载环境，确定卸载动作的构成，建立卸载动作与卸载环境互动的关系；根据卸载动作与卸载环境互动的关系，计算卸载开销，构建强化学习四元组，设置奖励与惩罚项；基于构建的强化学习四元组及奖励与惩罚项，采用深度强化学习算法实现D2D环境下的交接卸载并最小化所有用户时延与能耗的加权和。且针对用户多、基站多、卸载动作难以离散化表示的问题，本发明对深度Q网络进行结构改进，将高维离散动作分解成较低维度的动作组合，极大程度上简化了问题，利于实施。

本发明授权一种D2D环境下基于深度强化学习的交接卸载方法及装置在权利要求书中公布了：1.一种D2D环境下基于深度强化学习的交接卸载方法，其特征在于，所述D2D环境下基于深度强化学习的交接卸载方法包括： 建立可同时实现用户之间D2D卸载，基站之间任务交接的边缘计算卸载环境，并初始化用户和基站的随机位置关系，建立用户到用户，以及基站到基站的信道状态关系，并确定D2D卸载与基站交接卸载机制； 基于建立的边缘计算卸载环境，确定卸载动作的构成，建立卸载动作与卸载环境互动的关系；所述建立卸载动作与卸载环境互动的关系包括：根据卸载动作确定用户到用户、用户到基站的卸载关系以及基站到基站的交接关系； 根据卸载动作与卸载环境互动的关系，计算卸载开销，以卸载开销作为需要优化的目标，构建强化学习四元组；并根据卸载开销设置奖励与惩罚项； 基于构建的强化学习四元组以及奖励与惩罚项，采用预设的深度强化学习算法，实现D2D环境下的交接卸载，并最小化所有用户时延与能耗的加权和； 卸载开销的计算过程包括： 通过下式计算得到每个用户i的总卸载时延Ti为： 其中，Ai,local表示用户i是否进行本地卸载；表示用户i是否进行卸载目标为用户j的D2D卸载；表示用户i是否进行了错误D2D卸载动作；表示用户i是否进行了卸载目标为基站p的基站卸载；L为任务所需的CPU周期数数量；flocal为用户本地计算能力；fbase为基站计算能力；D为任务数据大小；表示用户i和用户j间的传输速率，表示用户i和基站p间的传输速率，表示基站q和基站p之间的传输速率，z表示基站p在卸载动作结束后最终分得的任务数量，z表示基站q在卸载动作结束后最终分得的任务数量，f是本地计算能力，取值为0或1，取值为1时，表示基站p会将其任务交接到基站q上，取值为0时，表示基站p不会将其任务交接到基站q上； 通过下式计算得到每个用户的卸载总能耗E为： 其中，Pcom为每吉赫计算能力所对应的计算功率； 通过下式计算得到用户i的卸载总开销C为： ＝η+η 其中，η、η分别为时延与能耗系数，取值范围均为0,1，且η1+η2＝1； 强化学习四元组为＜s,a,reward,s'＞；其中，s是当前时刻下的状态，a是总卸载动作，reward是奖励，s'是动作与当前时刻环境互动后的状态，其为动作与环境互动后得到用户总卸载开销的加权和，而进行下一次动作与环境的互动时，s'即成为这一情形下的状态s； 奖励设置为总卸载开销的相反数；奖励之中也有惩罚项，惩罚项被隐性地设置在各个用户的开销之中；若用户在卸载动作中出现了非法动作，则本次开销被设置为一个极大值，对应的奖励为该极大值的负值，所述非法动作指当前基站在未收到任何任务的情形下出现交接动作；优化的目标则是最大化奖励。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京科技大学;北京科技大学顺德研究生院;哈尔滨工业大学(威海);青岛大学，其通讯地址为：100083 北京市海淀区学院路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。