苏州元脑智能科技有限公司巨涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉苏州元脑智能科技有限公司申请的专利检索增强生成大语言模型系统和方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120562570B 。
龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511055531.5,技术领域涉及:G06N5/04;该发明授权检索增强生成大语言模型系统和方法是由巨涛设计研发完成,并于2025-07-30向国家知识产权局提交的专利申请。
本检索增强生成大语言模型系统和方法在说明书摘要公布了:本申请提供一种检索增强生成大语言模型系统和方法,涉及人工智能技术领域。该系统包括:部署有问答服务模块和大语言模型的主机、主机侧网卡设备,以及包括多个算力节点和知识数据库的大数据集群、集群侧网卡设备;主机通过问答服务模块获取提问,并将提问发送至主机侧网卡设备,进而传输至集群侧网卡设备;集群侧网卡设备调用至少一个算力节点将提问转化为查询向量,并根据查询向量访问知识数据库得到对应的检索知识;集群侧网卡设备将检索知识返回至主机侧网卡设备,进而返回至主机;主机通过大语言模型基于检索知识生成答案。本申请的系统,降低了检索增强生成服务对主机的图形处理器资源的需求。
本发明授权检索增强生成大语言模型系统和方法在权利要求书中公布了:1.一种检索增强生成大语言模型系统,其特征在于,包括:主机、主机侧网卡设备,以及大数据集群、集群侧网卡设备; 其中,所述主机部署有问答服务模块和大语言模型;所述大数据集群,包括:多个算力节点和知识数据库,所述主机侧网卡设备部署有第一编排器和第一日志数据库,所述集群侧网卡设备部署有第二编排器和第二日志数据库,所述第一编排器维护有第一传输调度队列,所述第二编排器维护有第二传输调度队列; 所述主机,通过所述问答服务模块获取提问,并将所述提问发送至所述主机侧网卡设备; 所述主机侧网卡设备,通过所述第一编排器,将所述提问传输至所述集群侧网卡设备; 所述集群侧网卡设备,通过所述第二编排器,将所述提问调度至所述大数据集群的至少一个算力节点; 所述算力节点,将所述提问转化为查询向量,并将所述查询向量返回至所述集群侧网卡设备; 所述集群侧网卡设备,根据所述查询向量访问所述知识数据库以获取所述查询向量对应的检索知识,并将所述检索知识返回至所述主机侧网卡设备; 所述主机侧网卡设备,将所述检索知识返回至所述主机; 所述主机,通过所述大语言模型,基于所述检索知识生成答案; 所述第一编排器,获取所述第一传输调度队列中的各第一任务指令,通过检查各第一任务指令对应的包头标识,对各第一任务指令进行分类,根据分类结果,将各第一任务指令分配至不同优先级的处理队列中,所述不同优先级的处理队列包括高优先级处理队列、中优先级处理队列和低优先级处理队列,按照部署的动态带宽分配模型,调整所述高优先级处理队列、所述中优先级处理队列和所述低优先级处理队列各自的带宽,根据所述低优先级处理队列的队列深度,得到所述低优先级处理队列对应的第一时间阈值,若低优先级处理队列中的第一任务指令的等待时间超过对应的第一时间阈值,则将对应的第一任务指令划分至所述中优先级处理队列,所述动态带宽分配模型为: 其中,是指总带宽,是指空闲带宽,是指已分配给高优先级处理队列的带宽,是指已分配给中优先级处理队列的带宽; 所述第一编排器,持续监控各第一任务指令在传输过程中的等待时间,若各第一任务指令的等待时间超过首次等待时间阈值,则执行首次重传,以沿原传输路径重新发送各第一任务指令,若首次重传后,各第一任务指令的等待时间仍超过二次等待时间阈值,则执行二次重传,以切换至预配置的备用路径进行传输,若二次重传后,各第一任务指令的等待时间仍超过三次等待时间阈值,则执行三次重传,以触发路径重构机制,对相关传输路径进行重新规划与优化,若三次重传后,各第一任务指令的等待时间仍超过四次等待时间阈值,则通过所述第一日志数据库,记录传输失败的各第一任务指令; 所述第二编排器,获取所述第二传输调度队列中的各第二任务指令,持续监控各第二任务指令在传输过程中的等待时间,若各第二任务指令的等待时间超过首次等待时间阈值,则执行首次重传,以沿原传输路径重新发送各第二任务指令,若首次重传后,各第二任务指令的等待时间仍超过二次等待时间阈值,则执行二次重传,以切换至预配置的备用路径进行传输,若二次重传后,各第二任务指令的等待时间仍超过三次等待时间阈值,则执行三次重传,以触发路径重构机制,对相关传输路径进行重新规划与优化,若三次重传后,各第二任务指令的等待时间仍超过四次等待时间阈值,则通过所述第二日志数据库,记录传输失败的各第二任务指令。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人苏州元脑智能科技有限公司,其通讯地址为:215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励