分布式海量数据并行传输的研究与实现

发布时间：2020-04-16 10:48

【摘要】： 随着信息化技术的不断发展,行业内部和行业间的业务数据量呈几何级数递增,海量数据的传输与处理难题成为制约信息化产业扩大的瓶颈,本文提出一种分布式海量数据并行传输设计与实现技术,系统采用了计算机集群及并行处理技术,以MobiLink技术为基础,将传输任务分解为若干个子任务,采用多台传输处理机分工并行传输方式,解决了海量数据传输处理上的瓶颈,在很大程度上解决了异构数据库系统间数据传输不兼容的问题;基于多路径QoS路由算法实现了目标智能路由,可以有效地均衡网络负载,提高网络资源利用率,从而实现了大型网络系统中异构数据库信息系统间海量数据信息并行交换。
【图文】：

传输结构

第四章 Sybase 的 MobiLink 技术的传输机制MobiLink 是一个基于服务器的同步化引擎，它可以通过串行口、 TCP/IPHotSync、ScoutSync 或 ActiveSync 连接与远程客户通信。使用像 MobiLink 这样同步技术可以极大地削减开发费用，因为 MobiLink 能够处理高级的同步操作象(snapshot)和时间戳同步、主键维持、冲突的检测和解决等。在服务器端，MobiLink 同步逻辑都是通过使用后台数据库的 SQL 的事件处理的(MobiLODBC 连接数据库，所以事实上支持所有的 SQL 数据库) ，，通过使用 CerSSL/TLS Plus 来支持公钥加密功能(使用椭圆曲线加密系统技术)。§4.1 MobiLink 的传输结构MobiLink 是基于会话的同步系统，它允许在本地的主数据库与多个远程之间进行双向同步。MobiLink 传输结构如图 4.1 所示。

示意图,同步过程,示意图,远程数据库

以使用序列联机(ActiveSync，HotSync)或是 TCP/IP，HTTP 等协议。MobiLink 客户端：Mobilink 客户端可分为两种，分别是 Adaptive Se和 UltraLite 数据库。关于同步处理的逻辑部分，虽然它已经是存储在统但是在客户端内也需要进行设定。在客户端的设定中，主要包括 MobiLi发布(publication)、订阅(subscription)。MobiLink 用户是远程数据库的识别码，在每个远程数据库中各自设定MobiLink 用户。发布是远程数据库中用于标识要同步数据的数据库对象，由标识要同项组成；依据发布的设定，可以上传数据。订阅是一种数据库对象，它在远程数据库中作为发布和 MobiLink 用户从而使发布所描述的数据实现同步。即用来设定 MobiLink 同步服务器的§4.2 MobiLink 的同步过程同步会话是 MobiLink 客户端和同步服务器之间的双向数据交换过程为三个阶段：上传、下载和确认。同步过程如图 4.2。
【学位授予单位】：长春理工大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP338.6

【引证文献】