天翼云科技有限公司孔祥康获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉天翼云科技有限公司申请的专利一种数据同步中的数据对比以及数据修正方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118550903B 。
龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410527588.X,技术领域涉及:G06F16/215;该发明授权一种数据同步中的数据对比以及数据修正方法是由孔祥康;宋祥;李超亚;伍家文;付康钰设计研发完成,并于2024-04-29向国家知识产权局提交的专利申请。
本一种数据同步中的数据对比以及数据修正方法在说明书摘要公布了:本发明公开了一种数据同步中的数据对比以及数据修正方法,主要包括以下步骤:S1:配置要进行数据对比的表对象;配置对比数据块的大小;配置数据抽查比例;S2:检查选中表是否具有唯一键;S3:检查数据同步延迟时间;S4:启动线程分别连接至源数据库和目标数据库;S5:源数据抽取线程从源库选中表的数据快照中获取一个数据块;S6:格式化数据队列;S7:数据校验线程监控格式化数据队列是否有数据;S8:数据修正线程读取统一数据队列中被标记的数据块,生成修正SQL;S9:数据抽取、数据整理、数据校验、数据修正工作完成后,任务结束。本发明可以在源数据库不需要暂停业务的情况下完成数据对比,并且给出数据修正SQL,能够提高数据修正效率。
本发明授权一种数据同步中的数据对比以及数据修正方法在权利要求书中公布了:1.一种数据同步中的数据对比以及数据修正方法,其特征在于,包括以下步骤: S1:配置要进行数据对比的表对象,称为选中表;配置对比数据块的大小,称为块大小;配置数据抽查比例; S2:检查选中表是否具有唯一键,剔除无唯一键的选中表; S3:检查数据同步延迟时间,判断当前源数据库产生的增量数据是否已全部同步至目标数据库,若是,继续下一步;若否,等待适当时间或用户选择强制进入下一步; S4:启动线程分别连接至源数据库和目标数据库,获取此刻源数据库和目标数据库中选中表的数据快照; S5:源数据抽取线程从源库选中表的数据快照中获取一个数据块; 在通过源数据抽取线程从源库选中表的数据快照中获取一个数据块时,根据设置的抽查比例决定是否检查此数据块,若否,重复此步骤;若是,则将此数据块的边界数据传递到目标数据抽取线程,目标数据抽取线程根据此边界数据读取目标数据库中的对应选中表快照中此范围内的数据块,将两个数据块投递到顺序存储的内存队列中,称为原始数据队列,若原始数据队列已满,暂停数据抽取工作,待原始数据队列腾出空间后继续数据抽取工作,源数据抽取线程和目标数据抽取线程重复此步骤,直到读取数据快照完毕; S6:格式化数据队列,同时删除原始数据队列中的对应两个数据块,释放内存; 所述格式化数据队列,即数据整理线程每次读取原始数据队列中的两个连续数据块,将两个数据块中的数据行分别整理为统一的数据格式并保存到另外一个内存队列中,称为格式化数据队列; S7:数据校验线程监控格式化数据队列是否有数据; 所述数据校验线程监控格式化数据队列是否有数据,若有则每次取出连续两个数据块计算其校验和,若校验和不一致,将所述连续两个数据块打上已完成校验标记和不一致标记;若校验和一致,立即释放格式化数据队列中此对数据块,减小内存使用; S8:数据修正线程读取统一数据队列中被标记的数据块,逐行数据对比,找出不一致的具体数据行,生成修正SQL; 在所述S8中,具体修正策略为: 不同数据库的语法有差异,需要针对各数据源进行语法识别,对于目标数据库缺失的数据,生成插入SQL;对于目标数据库存在但不一致的数据,生成更新SQL;对于目标数据库多余的数据,认为是从其他数据源插入的数据,生成查询SQL,仅作为提示,所述连续两个数据块读取完成则立即释放统一数据队列中统一数据格式的两个连续数据块,减小内存使用; S9:数据抽取、数据整理、数据校验、数据修正工作完成后,任务结束。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天翼云科技有限公司,其通讯地址为:100007 北京市东城区青龙胡同甲1号、3号2幢2层205-32室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励