中远海运集团财务有限责任公司胡嘉航获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中远海运集团财务有限责任公司申请的专利一种基于分布式架构的大数据智能分析处理系统和方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120910435B 。
龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510959019.7,技术领域涉及:G06F18/20;该发明授权一种基于分布式架构的大数据智能分析处理系统和方法是由胡嘉航;郑航;华克卫;钱小马;樊海波;胥诗林设计研发完成,并于2025-07-11向国家知识产权局提交的专利申请。
本一种基于分布式架构的大数据智能分析处理系统和方法在说明书摘要公布了:本发明涉及基于分布式架构的大数据智能分析处理系统和方法,该系统包括依次连接的数据采集模块、混合处理模块、智能数据分流模块、数据重组模块和数据分析模块,先从多源异构数据源中经增量抽取和批量抽取双通道分别获取实时大数据和批量大数据,实时大数据用CDC技术、两阶段提交入消息队列,批量大数据按时间戳自增ID增量存分布式库;混合处理时,智能资源调度器借资源分配函数与集群状态评估做决策,任务分发器分解任务并动态加权分发;智能分流依规则与信息熵划分高频、低频数据;再经数据重组建立时间映射加权融合,最后分析重组数据,能够实现资源高效调度、数据精准分流与深度分析,兼顾实时性与可靠性,并提高了数据处理效率与分析精度。
本发明授权一种基于分布式架构的大数据智能分析处理系统和方法在权利要求书中公布了:1.一种基于分布式架构的大数据智能分析处理系统,其特征在于,包括依次连接的数据采集模块、混合处理模块、智能数据分流模块、数据重组模块和数据分析模块, 所述数据采集模块,从包括业务系统的多源异构数据源中通过增量抽取和批量抽取双通道分别获取实时大数据和批量大数据,增量抽取的实时大数据实时写入消息队列,采用CDC技术进行实时监控,读取数据库事务日志解析操作记录,采用两阶段提交确保CDC事件与业务事务原子性;批量抽取的批量大数据持久化存储于分布式数据库,对于批量大数据首次同步提取全部数据,其余数据根据时间戳字段或自增ID按预设时间粒度提取; 所述混合处理模块,包括相互连接的智能资源调度器和任务分发器,所述智能资源调度器接收来自数据采集模块的数据,通过获取集群各节点动态资源信息,结合资源分配函数动态评估集群状态,同时解析任务与资源、任务与任务、数据与资源之间的参数依赖关系,并基于集群状态评估结果和参数依赖关系解析结果生成资源分配决策提供给任务分发器;所述任务分发器基于所述资源分配决策进行任务分解,将原任务分解为可并行执行的若干子任务,并明确子任务的执行顺序和关联关系,基于所述集群状态评估结果筛选符合参数依赖关系约束的候选节点集合,使用动态加权模型并结合子任务类型的特性、候选节点的资源参数以及子任务的执行顺序和关联关系,计算子任务在各候选节点上的权重系数,再根据计算的权重系数将子任务分发至匹配的目标节点,且权重系数越高分配到处理子任务的资源越高,以实现动态加权资源分配; 所述智能数据分流模块,包括分流规则配置层和分流算法匹配层,所述分流规则配置层配置基础分流条件与业务逻辑并通过静态规则和动态规则进行分类管理;所述分流算法匹配层接收混合处理模块处理后的数据,根据数据的特征信息并结合配置的基础分流条件与业务逻辑,执行智能分流算法,先统计数据的取值概率进而计算信息熵,再根据所述动态加权资源分配结果调整熵阈值,然后将计算得到的信息熵与调整后的熵阈值比对以进行高频数据和低频数据的分流划分; 所述数据重组模块,接收来自智能数据分流模块分流后的数据并对分流后的数据执行重组,将分流的高频数据与时间戳进行重新组合,将所有高频数据作为第一数据集,将与时间戳相关的数据作为第二数据集,基于第一数据集的时间序列和第二数据集的时间序列建立时间映射关系,通过遍历第一数据集的每个高频数据元素并逐一匹配其与第二数据集中相应数据的时间关系,以相应时间差为权重系数对第一数据集的高频数据进行加权计算,将加权计算结果与匹配的第二数据集中相应数据相加,直至第一数据集的所有高频数据元素处理完毕,形成时间连续且逻辑关联的重组数据集; 所述数据分析模块,对重组数据集进行趋势分析、异常检测,并输出分析结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中远海运集团财务有限责任公司,其通讯地址为:200127 上海市浦东新区滨江大道5299号8楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励