买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中电万维信息技术有限责任公司申请的专利一种共享记忆矩阵的语言模型使用方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119537019B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411644040.X，技术领域涉及：G06F9/50；该发明授权一种共享记忆矩阵的语言模型使用方法是由张峻崎;曹肖攀;冯海春;张喜强;祁宝莲设计研发完成，并于2024-11-18向国家知识产权局提交的专利申请。

本一种共享记忆矩阵的语言模型使用方法在说明书摘要公布了：本发明涉及计算机语言处理技术领域，特别是一种共享记忆矩阵的语言模型使用方法。通过一种循环的迭代结构，将Key矩阵、Value矩阵都通过memory得到，同时保证在推理当前token过程中每层的memory都相同，等效于key张量、value张量共享，从而实现了缓存降低的效果，因而算力资源得到了节省。

本发明授权一种共享记忆矩阵的语言模型使用方法在权利要求书中公布了：1.一种共享记忆矩阵的语言模型使用方法，其特征在于包括如下步骤： S1：制作token、定义特殊符： 收集开源的语言训练集，采用SentencePiece工具进行训练，其中包括预留的语言模型的[CLS]文本起始符，[PAD]文本填充符，约定max_len=2048输入模型的文本最大长度，也是模型输出最大长度； S2：构造模型： 当前某条训练文本，记为{Text}，采用tokenize分词工具分为词列表，同时在最前面添加[CLS]起始符，为模型输入的tokens列表，其中最前面未添加[CLS]的tokens列表为实际模型输出，也即输入[CLS]需要预测为输出端{Text}序列化后的第一个token；memory向量作为历史的存储，初始为None，[CLS]嵌入向量,训练过程中，第一个循环memory赋值为[CLS]嵌入向量,[CLS]嵌入向量扮演query角色，memory经过两个全连接得到张量分别扮演key张量，value张量角色，进而和query进行交叉注意力计算，同时后面经过前馈神经网络，得到当前token第一层嵌入向量新的表示，该嵌入表示作为第二层query新张量表示，但后面每层的memory张量经过全连接得到的key张量、value张量在训练或推理当前token时候和第一层表示相同，也即后面的每层都采用memory同一个张量得到的key张量和value张量，第一个循环memory即只存储[CLS]嵌入向量，然后经过两个全连接分别得到张量key、value，同时第一个[CLS]向量扮演query张量角色，然后计算交叉注意力，直到多层，第二个循环memory将[CLS]嵌入向量和第一个输入token向量拼接，而然后经过两个全连接分别得到张量key、value，第一个输入token向量扮演query张量，可以经过多层，依次类推，第三个循环memory将第二个循环的memory嵌入向量追加第二个输入token向量拼接，然后经过两个全连接分别得到张量key、value....依次类推； S3：推理阶段： 将[CLS]和用户输入自己的内容token化后拼接存为memory，用户输入内容的最后一个token扮演query张量角色，计算交叉注意力、前馈层直到输出，得到第一个token的向量表示，然后通过全连接后解码得到生成的第一个token，然后将该token经过嵌入层拼接到memory张量，同时该token扮演query张量，重复上述操作，即可完成最终模型文本生成内容。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中电万维信息技术有限责任公司，其通讯地址为：730000 甘肃省兰州市城关区张苏滩553号(电信第二枢纽B区4-7层)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。