买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网福建省电力有限公司电力科学研究院;国网福建省电力有限公司;中国电力科学研究院有限公司;福建省亿力信息技术有限公司申请的专利一种面向供电服务指挥大模型的上下文长度扩展方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118966282B 。

龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411102526.0，技术领域涉及：G06N3/045；该发明授权一种面向供电服务指挥大模型的上下文长度扩展方法及系统是由谢炜;郑州;朱珈徵;梁攀飞;周晨曦;姚文旭;黄建业;钱健;林爽;杨彦;马腾;李扬笛;熊嘉丽设计研发完成，并于2024-08-12向国家知识产权局提交的专利申请。

本一种面向供电服务指挥大模型的上下文长度扩展方法及系统在说明书摘要公布了：本申请涉及一种面向供电服务指挥大模型的上下文长度扩展方法及系统，包括以下步骤：采用正余弦函数将位置编码添加到输入词嵌入中，使大模型考虑词序信息；在多头自注意力机制中，将每个位置的编码向量进行旋转变换，使用旋转变换后的位置信息计算注意力得分，更好地捕捉长距离依赖关系；利用神经切核特性对旋转位置编码进行插值，使用若干数据对语义大模型进行微调，扩展上下文窗口，减少高频信息损失；构建供电服务指令数据集，专家检查修正和拓展指令数据集，使用供电服务指令数据集对改进后的语义大模型进行指令微调，使语义大模型适应拓展后的上下文长度。

本发明授权一种面向供电服务指挥大模型的上下文长度扩展方法及系统在权利要求书中公布了：1.一种面向供电服务指挥大模型的上下文长度扩展方法，其特征在于，包括以下步骤： 步骤S1：采用正余弦函数将位置编码添加到输入词嵌入中，使大模型考虑词序信息；所述采用正余弦函数将位置编码添加到输入词嵌入中，位置信息表示的具体公式如下： 其中，是词在序列中的绝对位置，是词向量中的维度序号，是模型的维度；奇数维度用函数计算，偶数维度用函数计算；采用上述正余弦位置编码计算方式计算使大模型学习到周围词的相对位置，因为对于任何距离l，能够被表示为的线性函数； 步骤S2：在多头自注意力机制中，将每个位置的编码向量进行旋转变换，使用旋转变换后的位置信息计算注意力得分，通过引入位置信息捕捉长距离依赖关系；所述使用旋转变换后的位置信息计算注意力得分，具体流程如下： 对于一个给定长度的输入序列，对应的嵌入表示为： 其中表示第个词元对应的维词嵌入向量； 对于位置在的向量，其旋转位置编码的编码方式表示为： 其中，为向量x在d维度中的旋转角度； 对每个词元位置的查询向量和键向量向量的元素按照两两一组应用旋转变换，再取其中的实部计算查询和键向量之间的内积得到自注意力的计算结果，具体计算公式如下： 式中，Re表示取函数实部部分；I表示内积计算函数； 将上式展开得到： 式中j=1,2,3,； 步骤S3：利用神经切核特性对旋转变换后的位置编码进行插值，使用若干数据对语义大模型进行微调，扩展上下文窗口，减少高频信息损失；所述利用神经切核特性对旋转变换后的位置编码进行插值，具体包括以下步骤： 定义一个比例因子为扩展上下文长度与原始上下文长度之间的比率： 进一步将向量的旋转位置编码函数改写为关于输入向量、位置和角度的函数： 此外，将定义为第个隐藏维度上旋转位置嵌入的波长，代表执行完整旋转所需的词元长度： 其中，,D；为一个常数；对于给定的神经网络模型和输入数据，计算神经切核矩阵，反映输入数据之间的相似性以及模型在这些数据上的梯度信息，具体表现为对函数的改进： 在计算自注意力机制中的之前，在上引入参数v对模型文本理解能力具有均匀的作用，使用长度缩放技术进一步调整文本位置编码长度；其注意力权重的计算具体修改为： 步骤S4：构建供电服务指令数据集，专家检查修正和拓展供电服务指令数据集，使用供电服务指令数据集对改进后的语义大模型进行指令微调，使语义大模型适应拓展后的上下文长度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网福建省电力有限公司电力科学研究院;国网福建省电力有限公司;中国电力科学研究院有限公司;福建省亿力信息技术有限公司，其通讯地址为：350007 福建省福州市仓山区复园支路48号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。