天津大学仇超获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉天津大学申请的专利一种在异构云边端场景下的大模型自适应方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119537966B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411497958.6,技术领域涉及:G06F18/22;该发明授权一种在异构云边端场景下的大模型自适应方法是由仇超;戴子明;高菲;赵云凤;张赫;王晓飞设计研发完成,并于2024-10-25向国家知识产权局提交的专利申请。
本一种在异构云边端场景下的大模型自适应方法在说明书摘要公布了:本发明公开一种在异构云边端场景下的大模型自适应方法,所述方法基于云服务器、边缘服务器和设备群组,其中:云服务器根据每个群组的设备属性将个性骨干架构分配给每个设备群组;边缘服务器根据本地的共享数据集启动第一个NAS阶段以生成粗粒度的Header架构,并将其架构数据下发给与其链接的设备群组;设备群组通过第二个NAS阶段使用本地数据细化Header架构,产生架构矩阵,并将架构矩阵上传回边缘服务器;边缘服务器聚合该群组的所有矩阵,为每个设备定制并下发最终的个性化模型架构;本发明可以使大模型从粗粒度逐渐细化来逐步匹配不同的设备,并利用多设备之间的协同完善本地模型架构。
本发明授权一种在异构云边端场景下的大模型自适应方法在权利要求书中公布了:1.一种在异构云边端场景下的大模型自适应方法,所述方法基于云服务器、边缘服务器和设备群组,其特征在于,包括: 云服务器根据每个群组的设备属性将个性骨干架构分配给每个设备群组;其中:所述个性骨干架构生成过程: 按照大模型性能、能耗和模型大小通过如下公式建立个性骨干架构: ; 其中:是设备n使用模型和本地数据的任务特定损失函数;计算的参数数量;H、和分别表示所有Header的参数数量、隐藏层维数和前馈层维数;其中: 对于设备n跨越k个训练周期,总能耗通过如下公式建模: ; 其中:分别代表功耗和每个训练周期的平均延迟; ; 其中:是每增加一个Transformer层的功耗增加,是分块数,是针对批量大小β估计的GPU能耗,和分别代表初始延迟和每层增加的延迟; 边缘服务器根据本地的共享数据集启动第一个NAS阶段以生成粗粒度的Header架构,并将其架构数据下发给与其链接的设备群组;其中: 所述粗粒度的Header架构通过如下公式建立大模型架构与设备属性匹配,即: ; 其中:,;代表云服务器中的一个泛化公共数据集,表示由获得的中间模型; 设备群组通过第二个NAS阶段使用本地数据生成细粒度Header架构,并将细粒度Header架构的矩阵上传回边缘服务器;其中: 所述细粒度Header架构通过如下公式建立模型架构与设备特定数据匹配,即: ; 其中:,表示在每个由边缘服务器管理的设备群组内,维持共享优化的骨干架构,定制Header;定义一个元组C,S,N,其中C代表云服务器,S={,...,}表示边缘服务器的集合,表示设备的集合;设备的分区,其中是分配给边缘服务器的设备集合;对于每个设备,定义一个元组,,,其中表示GPU容量,表示最大可存储模型体积,是个性化模型,和分别代表Header和Backbone组件;参考模型定义为基线;对于设备n,使用转换函数相对于参数化其Backbone模型,即,,其中表示宽度缩放因子,表示Transformer层的数量; 边缘服务器聚合设备群组的所有矩阵为每个设备定制并下发个性化模型架构。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励