买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福建警察学院;杭州海康威视数字技术股份有限公司申请的专利一种大模型键值缓存量化方法、系统、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121119177B 。

龙图腾网通过国家知识产权局官网在2026-03-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511666307.X，技术领域涉及：G06N5/04；该发明授权一种大模型键值缓存量化方法、系统、设备及存储介质是由董煜;任文奇;任烨;谭文明;詹申平;陆展鸿;钟凯伦;陈木生;张盈盈设计研发完成，并于2025-11-14向国家知识产权局提交的专利申请。

本一种大模型键值缓存量化方法、系统、设备及存储介质在说明书摘要公布了：本发明涉及一种大模型键值缓存量化方法、系统、设备及存储介质，属于神经网络技术领域，所述方法包括以下步骤：构建键值缓存token的候选分组粒度集合；基于候选分组粒度集合分别对键缓存以及值缓存进行分组粒度自适应搜索，得到键缓存的最优分组粒度以及值缓存的最优分组粒度；基于键缓存的最优分组粒度以及值缓存的最优分组粒度分别对键缓存以及值缓存在token维度内进行分组；在每个分组内统计最大值与最小值，并基于最大值与最小值计算当前分组的量化参数，基于当前分组的量化参数对当前分组进行量化。

本发明授权一种大模型键值缓存量化方法、系统、设备及存储介质在权利要求书中公布了：1.一种大模型键值缓存量化方法，其特征在于，包括以下步骤： 构建键值缓存token的候选分组粒度集合； 基于候选分组粒度集合分别对键缓存以及值缓存进行分组粒度自适应搜索，得到键缓存的最优分组粒度以及值缓存的最优分组粒度； 基于键缓存的最优分组粒度以及值缓存的最优分组粒度分别对键缓存以及值缓存在token维度内进行分组； 在每个分组内统计最大值与最小值，并基于最大值与最小值计算当前分组的量化参数，基于当前分组的量化参数对当前分组进行量化； 所述键值缓存token的候选分组粒度集合构建步骤为： 对键值缓存的token元素不断进行二分，并记录每次二分后的分组粒度，直至最终分组粒度达到预设阈值，将记录的所有分组粒度构建为候选分组粒度集合； 所述键缓存的最优分组粒度计算步骤为： 控制大模型通过预设数据集进行分组粒度数量轮次的前向推理，在每轮推理进行前，按照从大到小的顺序从候选分组粒度集合中选取候选分组粒度作为本轮的分组粒度，并在推理过程中通过本轮的分组粒度对键缓存进行量化； 在每轮推理结束后，评估计算大模型性能； 设置性能阈值，若前后两轮推理的大模型性能提升小于性能阈值，则选取前一轮推理所选取的分组粒度作为键缓存的实际分组粒度； 所述值缓存的最优分组粒度计算步骤为： 控制大模型通过预设数据集进行分组粒度数量轮次的前向推理，在每轮推理进行前，按照从大到小的顺序从候选分组粒度集合中选取候选分组粒度作为本轮的分组粒度，并在推理过程中通过本轮的分组粒度对值缓存进行量化； 在每轮推理结束后，评估计算大模型性能； 设置性能阈值，若前后两轮推理的大模型性能提升小于性能阈值，则选取前一轮推理所选取的分组粒度作为值缓存的实际分组粒度； 分组的量化参数包括缩放系数以及偏移量； 所述缩放系数的计算公式为： 其中：表示当前分组的缩放系数；表示当前分组的元素集合；表示比特数；表示当前分组的元素集合中的最大值；表示当前分组的元素集合中的最小值； 所述偏移量的计算公式为： 其中：表示当前分组的偏移量；表示四舍五入取整操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福建警察学院;杭州海康威视数字技术股份有限公司，其通讯地址为：350007 福建省福州市仓山区首山路59号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。