分布式异构数据源同步框架的研究与实现

发布时间：2024-02-28 04:23

　　随着互联网技术的发展、智能终端设备的普及,网络上产生的数据在不断的激增。计算机存储技术伴随着数据时代的到来也在迅猛的发展,硬件方面,数据存储介质在继续改进和出新;软件方面,基于各种设计思想、架构方案的存储系统在陆续的出现。在这样一个数据驱动的时代,数据的价值也在不断的突显。然而在实际发展过程中,我们对数据的需求和应用并不是一成不变的,数据产品在设计初期的架构也不一定是绝对完美的。例如,产品底层数据架构是用于存储用户交互的数据,但是随着数据的增加和业务的发展,这些数据将会用于某些业务场景下的决策分析或可视化展示,此时,原有产品的底层数据架构,就不足以完全支持新有的业务,因此,可能需要引入新的存储系统来进行改善。在这种场景下,异构数据源之间的数据同步和迁移的需求就逐渐的显现出来。目前,现有的一些工具大多数只为完成与某种固定的数据存储系统进行数据同步和迁移而存在,在多种异构数据源的支持上并不是很完善;其他一些针对异构数据源之间进行数据同步的工具并不支持分布式运行,导致在海量数据同步的场景下存在单机性能瓶颈的问题。本文从数据同步需求入手,对各种应用场景进行深入研究和分析,提出了一种针对各种异构...

【文章页数】：58 页

【学位级别】：硕士

【部分图文】：

图3.1网状数据同步链路

第三章异构数据源同步技术方案第三章异构数据源同步技术方案中我们可以看出，在面对数据同步问题的时候，大部分场迎合相关业务需求的工具来解决，在这种情况下直接导致存储系统需要同步的话就又需要重新开发一个新的工具需要重新开发第N+1个数据同步工具，这样无形之中就形示）。由此增加的....

图3.2星型的数据同步链路

图3.2星型的数据同步链路服务化目前市面上存在的性能优良的数据同步工具进行分析和比对，同步任务完成后整个进程便停止，当有新的同步需求的时候就的问题是，很难满足像定时、实时这类数据同步的需求，而满足进程常驻内存中，以便定时或实时的执行。目前，DataX在完候，是通过在Lin....

图3.3Master-Slave模式架构

第三章异构数据源同步技术方案，由一台计算机作为主调度者，其余的计算机根据调度完务更加的轻量级，我们采用了SN模式（Scalable-Node，MS的架构不同，SN模式下没有Master节点，但同样额来实时监控和管理当前集群中的每个计算机节点。在每个步服务，相互之间....

图3.4Scalable-Node模式架构

-8-图3.4Scalable-Node模式架构工具会以一个中心化服务来运行，该服务由多个服务器节通过外接一个分布式的应用程序协调服务来进行统一管理进程。整个数据同步服务一旦开启，就会一直运行，等待异构数据源之间数据同步需求的时候（如图3.5所示），首步数据源相关的....

本文编号：3913470