买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京帝派智能科技有限公司申请的专利一种可预设KV缓存容量的大模型构建方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119377133B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411445684.6，技术领域涉及：G06F12/0875；该发明授权一种可预设KV缓存容量的大模型构建方法及装置是由易中华设计研发完成，并于2024-10-16向国家知识产权局提交的专利申请。

本一种可预设KV缓存容量的大模型构建方法及装置在说明书摘要公布了：本申请提供一种可预设KV缓存容量的大模型构建方法及装置，应用于大模型的Transformer结构中的注意力层，注意力层包括由M个键值向量构成的键值向量序列MV，以及由M个键向量构成的键向量序列MK；其中，M等于预设值；方法包括针对第N个输入向量，将其映射为写入查询向量wq及第一写入键值向量wv；利用写入查询向量wq与M个键向量进行计算，得到写入权重向量ww；利用写入权重向量ww及第一写入键值向量wv，对历史键值向量序列MV＇中的M个键值向量进行更新，将更新得到的键值向量序列MV写入缓存中。这样，可以实现可预设长度的KV缓存容量方案，以替代随上下文长度无限增长的KV缓存容量方案。

本发明授权一种可预设KV缓存容量的大模型构建方法及装置在权利要求书中公布了：1.一种可预设KV缓存容量的大模型构建方法，其特征在于，应用于所述大模型的Transformer结构中的注意力层，所述注意力层包括由M个键值向量构成的键值向量序列MV，以及由M个键向量构成的键向量序列MK；其中，M等于预设值，所述键值向量序列MV是由初始值组成的； 所述方法包括： 针对输入所述注意力层的第N个输入向量，利用第一矩阵Wwq将其映射为写入查询向量wq，以及，利用第二矩阵Wwv将其映射为第一写入键值向量wv；其中，N≥1，所述输入向量是输入所述大模型的文本token化后对应的嵌入向量或者当前Transformer块的前一层Transformer块输出的过程向量； 利用所述写入查询向量wq与所述M个键向量进行计算，得到写入权重向量ww； 当N＝1时，从缓存中获取由所述初始值组成的所述键值向量序列MV，并将其确定为历史键值向量序列MV＇，当N＞1时，从所述缓存中获取第N-1个所述输入向量对应的所述键值向量序列MV，并将其确定为所述历史键值向量序列MV＇； 利用所述写入权重向量ww及所述第一写入键值向量wv，对所述历史键值向量序列MV＇中的所述M个键值向量进行更新，得到更新后的所述键值向量序列MV； 利用所述写入权重向量ww及所述第一写入键值向量wv，对所述历史键值向量序列MV＇中的所述M个键值向量进行更新，得到更新后的所述键值向量序列MV的步骤包括： 对所述写入权重向量ww进行转置，以使所述写入权重向量ww转换为维度为[M，1]的写入权重矩阵ww＇，进而使得所述写入权重矩阵ww＇的列数与所述第一写入键值向量wv的行数相匹配； 将所述写入权重矩阵ww＇与所述第一写入键值向量wv进行矩阵乘法计算，得到M个第二写入键值向量wMV，且所述第二写入键值向量wMV的维度为D； 对所述M个第二写入键值向量wMV与所述历史键值向量序列MV＇中的所述M个键值向量进行相加计算，得到更新后的所述键值向量序列MV； 将更新后的所述键值向量序列MV写入所述缓存中，以替换所述历史键值向量序列MV＇，更新后的所述键值向量序列MV对应于第N个所述输入向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京帝派智能科技有限公司，其通讯地址为：100080 北京市海淀区海淀大街34号8层820室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。