买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉宁波东方理工大学(暂名)申请的专利一种大语言模型的流式处理系统和方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120181070B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510652845.7，技术领域涉及：G06F40/211；该发明授权一种大语言模型的流式处理系统和方法是由沈晓宇;童俊龙;张伟;张辛铭;王项辉设计研发完成，并于2025-05-21向国家知识产权局提交的专利申请。

本一种大语言模型的流式处理系统和方法在说明书摘要公布了：本发明涉及一种大语言模型的流式处理系统和方法，在离线环境中，通过大语言模型模块调用大语言模型架构以按批处理模式运行，而在在线环境中则以流式模型参数作为大语言模型架构的模型参数，并调用大语言模型架构以通过令牌解耦缓存机制实现流式推理，还通过所设置的模型参数优化模块采用流式注意力掩码机制对大语言模型架构进行参数优化，以动态调整大语言模型架构的注意力范围，令大语言模型架构仅关注当前可用输入和上下文，获得流式模型参数，确保大语言模型模块达到在批处理模式和流式模式之间的可扩展性要求，且计算成本较低。

本发明授权一种大语言模型的流式处理系统和方法在权利要求书中公布了：1.一种大语言模型的流式处理系统，其特征在于，包括： 大语言模型模块，内置大语言模型架构，被设置为在离线环境中调用所述大语言模型架构以按批处理模式运行，而在在线环境中则以流式模型参数作为所述大语言模型架构的模型参数，并调用所述大语言模型架构以通过令牌解耦缓存机制实现流式推理； 模型参数优化模块，与所述大语言模型模块电连接，被设置为采用流式注意力掩码机制对所述大语言模型架构进行参数优化以获得所述流式模型参数，并在进行参数优化的过程中动态调整所述大语言模型架构的注意力范围，令所述大语言模型架构仅关注当前可用输入和上下文; 所述大语言模型模块通过令牌解耦缓存机制实现流式推理的方式为： 设定初始的输入令牌缓存池和输出令牌缓存池，随后交替执行读取令牌和生成令牌； 在读取令牌时，将需读取的令牌与所述输入令牌缓存池进行注意力计算以获得第一注意力计算结果，并将所述第一注意力计算结果存至所述输入令牌缓存池； 在生成令牌时，首先取出所述输出令牌缓存池的最新令牌，随后将该令牌与所述输入令牌缓存池和所述输出令牌缓存池进行注意力计算以获得第二注意力计算结果，并将所述第二注意力计算结果存至所述输出令牌缓存池。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人宁波东方理工大学(暂名)，其通讯地址为：315200 浙江省宁波市镇海区庄市街道同心路568号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。