苏州元脑智能科技有限公司连爱朋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉苏州元脑智能科技有限公司申请的专利模型的流式输出方法及电子设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121050892B 。
龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511586865.5,技术领域涉及:G06F9/50;该发明授权模型的流式输出方法及电子设备是由连爱朋设计研发完成,并于2025-10-31向国家知识产权局提交的专利申请。
本模型的流式输出方法及电子设备在说明书摘要公布了:本申请提供了一种模型的流式输出方法及电子设备,应用于人工智能技术领域,该方法包括:响应于多个模型接收到用户端发送的目标问题,分别为各模型在异步线程中创建对应的事件循环;基于异步线程中的事件循环执行对应模型的异步流式输出任务,生成针对目标问题的流式数据;将各异步线程输出的流式数据写入消息队列,各流式数据基于对应模型执行异步流式输出任务的重要程度分别具有不同的第一优先级;响应于消息队列中的流式数据达到预设容量阈值,从消息队列中确定第一优先级低于预设优先级阈值的目标流式数据,将目标流式数据中的至少两个词元进行合并处理;从经过合并处理后的消息队列中获取词元,以同步流式输出的方式依次返回至用户端。
本发明授权模型的流式输出方法及电子设备在权利要求书中公布了:1.一种模型的流式输出方法,其特征在于,包括: 响应于多个模型接收到用户端发送的目标问题,分别为各个所述模型在异步线程中创建对应的事件循环; 基于所述异步线程中的事件循环执行对应模型的异步流式输出任务,分别生成针对所述目标问题的流式数据; 将各个所述异步线程输出的流式数据写入消息队列,其中,各个所述流式数据基于对应模型执行所述异步流式输出任务的重要程度分别具有不同的第一优先级; 响应于所述消息队列中的流式数据达到预设容量阈值,从所述消息队列中确定第一优先级低于预设优先级阈值的目标流式数据,并将所述目标流式数据中的至少两个词元进行合并处理; 从经过词元合并处理后的消息队列中依次获取词元,并以同步流式输出的方式依次返回至所述用户端; 其中,所述方法还包括: 根据各个所述词元在对应模型输出序列中的位置序号为各个所述词元确定第二优先级;所述第二优先级用于指示对所述目标流式数据中至少两个词元的合并处理顺序;其中,位于输出序列起始位置的词元的第二优先级大于位于输出序列中间位置的词元的第二优先级; 其中,所述将所述目标流式数据中的至少两个词元进行合并处理,包括: 识别所述目标流式数据第二优先级低于预设词元优先级阈值的词元,并从所述识别出的词元中选择至少两个相邻词元作为待合并对象; 基于所述待合并对象中各词元在原始输出序列中的位置顺序,将所述待合并对象中的词元按序进行合并处理; 其中,所述将各个所述异步线程输出的流式数据写入消息队列,包括: 为各个所述异步线程输出的流式数据分别分配与对应模型具有一一对应关系的实例索引,其中,所述实例索引用于在多个模型并发输出场景中标识和区分不同模型的数据来源; 基于预设的数据结构格式,将所述流式数据的内容信息、所述实例索引以及所述第一优先级组装为标准化的消息格式数据; 按照所述流式数据的生成时间顺序将组装完成的所述消息格式数据依次写入所述消息队列的队尾位置。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人苏州元脑智能科技有限公司,其通讯地址为:215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励