买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利基于低秩微调的大语言模型端云协同推理系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120806170B 。

龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511253301.X，技术领域涉及：G06N5/04；该发明授权基于低秩微调的大语言模型端云协同推理系统是由王子逸;王梓安;张蓝姗;金浩楠;邢杰设计研发完成，并于2025-09-03向国家知识产权局提交的专利申请。

本基于低秩微调的大语言模型端云协同推理系统在说明书摘要公布了：本发明公开了一种基于低秩微调的大语言模型端云协同推理系统，属于端边云计算的推理优化技术领域。建立端云协同推理架构，在离线阶段，云侧基于不同下游任务的训练数据对大语言模型进行参数微调；在线阶段，通过“变分自编码器‑高斯混合模型”聚类对用户请求进行分类，判断端侧缓存中是否存在匹配当前任务的低秩适配器，若是，则在端侧执行推理；否则，将该任务转发至云侧。当该架构处理过若干用户请求后，基于Mamba模型分析用户历史请求和缓存状态，动态更新端侧低秩适配器库。实时监控端云负载与推理延迟，根据任务重复率增量下发新适配器至端侧。本发明实现系统动态平衡，在降低计算和存储开销的同时，确保了系统的高效性和适应性。

本发明授权基于低秩微调的大语言模型端云协同推理系统在权利要求书中公布了：1.基于低秩微调的大语言模型端云协同推理系统，其特征在于，构建过程如下： 第一阶段，建立端云协同推理架构； 该架构包括端侧和云侧，端侧部署轻量级语言模型，并引入低秩适配器和智能分类器；云侧将低秩适配器集存储于低秩适配器库中，用于端侧任务分类后分配调用云侧计算； 该架构的建立过程包括离线阶段和在线阶段，具体为： 1在离线阶段，云侧基于不同下游任务的训练数据对大语言模型进行参数微调； 2在线阶段，当用户发出请求，通过“变分自编码器-高斯混合模型”聚类对用户请求进行分类，判断端侧缓存中是否存在匹配当前任务的低秩适配器B,m，若是，则加载至端侧小语言模型，执行推理，得到任务结果；否则，将该任务转发至云侧执行推理；其中，B为低秩微调的任务特定矩阵，m为幅度分量； 第二阶段，根据用户请求处理情况，对端云协同推理架构进行实时监控和更新； S1，当该架构处理过若干用户请求后，基于Mamba模型分析用户历史请求和缓存状态，动态更新端侧低秩适配器库，优先保留高频任务参数； 利用用户历史访问序列和当前端侧低秩适配器库存储状态的 双模态数据，通过学习算法的决策来做出最优的更新决策，具体过程为： 在模型的训练过程中，采用了基于状态空间模型架构的Mamba模型来提取用户访问行为的时间特征，Mamba模型的隐藏状态更新方程为： 其中，是选择性更新门，表示状态空间模型，支持并 行计算，是残差系数；A为共享低秩矩阵； 系统使用两个独立初始化的投影矩阵和分别对用户访问数据和缓存信息进行嵌 入： 其中，表示嵌入后的用户访问数据，为嵌入后的缓存信息；位置编码是 通过正弦函数生成的； 将用户访问数据和缓存信息投影到统一的特征空间，通过拼接后的特征来表示 融合后的特征： 其中，是投影矩阵，通过将投影到和在一起的隐空间； 在训练过程中，采用二元交叉熵损失函数来引导模型学习任务分类和缓存替换策略： 其中，i=1,…,Q是端侧缓存的数量，是策略预测结果，是 LayerNorm；指实际结果，是一个长度为Q的向量，是对应i位置的端侧缓存是 否应该更换的策略； 缓存替换策略为：将端侧低秩适配器库中的某一个适配器释放，并更换为适用于新的任务分类的适配器；当该缓存替换策略使上述损失函数取值最小时，即得到更新后的端侧低秩适配器库，通过这个策略保持端侧缓存的适配器的动态性； S2，实时监控端云负载与推理延迟，当端侧置信度不足时触发云侧回退，并根据任务重复率增量下发新适配器至端侧； S3，周期性优化任务分类阈值与端侧缓存容量，实现成本、延迟与准确性的动态平衡。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。