支持多集群数据并行的On-demand文件传输算法

发布时间：2018-05-18 01:05

  本文选题：多集群 + 目的端并行　； 参考：《计算机科学》2013年03期

【摘要】：数据密集型应用通常需要在广域网分布式共享计算环境中高效地传输海量数据。并行处理中,大量的数据需要在生成集群、存储集群、处理集群间进行传输。针对该传输问题提出了一个支持多集群数据并行传输的按需文件传输算法(On-demand File Transfer),该算法以批量传输请求的整体完成时间最小为目的,根据集群内部快速传输的特点,实现目的端并行,分散单个节点的传输负载;在传输路径上,采用多重路径和多跳路径分割方法实现并行传输。对于批量传输请求,依据每个请求的传输负载,全局按需分配带宽,以解决传输路径的带宽冲突,从而充分利用当前网络带宽,快速传输批量传输请求。
[Abstract]:Data intensive applications usually need to transmit mass data efficiently in WAN distributed shared computing environment. In parallel processing, a large amount of data needs to be transferred between generating clusters, storing clusters, and processing clusters. To solve this problem, an on-demand File transfer algorithm for multi-cluster data parallel transmission is proposed. The algorithm aims at minimizing the overall completion time of batch transmission requests, and according to the characteristics of fast transmission within the cluster. In the transmission path, the multi-path and multi-hop paths are used to realize the parallel transmission. For batch transmission request, according to the transmission load of each request, the bandwidth is allocated according to the global demand to solve the bandwidth conflict of the transmission path, so as to make full use of the current network bandwidth and transmit the batch transmission request quickly.
【作者单位】： 吉林大学计算机科学与技术学院;
【分类号】：TP393.093;TP338.6

【相似文献】

相关期刊论文 前10条

1 钟汉如;叶家威;;基于RS485的PC与ARM间文件传输的实现[J];微计算机信息;2008年05期

2 郭训平;;端点防护 按需出牌[J];软件世界;2007年17期

3 郭一凡;EPSON打印机的按需打印(ODP)理念[J];电子出版;2002年05期

4 ;网钻LandAttach NAS 4150按需存储[J];计算机与网络;2003年08期

5 建;激打“按需打印”[J];中国计算机用户;1999年23期

6 ;泰克推崇按需打印[J];每周电脑报;1998年11期

7 李志峰;利用红外线端口进行文件传输[J];微电脑世界;1999年21期

8 ;高效率 低成本——实达POD按需打印解决方案[J];华南金融电脑;2001年11期

9 张永路;服务也要“按需定制”[J];中国计算机用户;2002年10期

10 郑玮;;按需使用落在实处[J];每周电脑报;2003年07期

相关会议论文 前1条

1 刘子林;巫正中;周长生;韩起;;基于Linux的网络传感器远程通信实现[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年

相关重要报纸文章 前10条

1 本报记者 张彤;按需扩展[N];网络世界;2003年

2 ;实达POD按需打印解决方案[N];中国计算机报;2002年

3 本报记者 郭平;超前“消费”休矣[N];计算机世界;2002年

4 记者 郭见洌;低电压移动 Athlon XP-M“按需”而来[N];计算机世界;2003年

5 郭涛;将“按需扩展”进行到底[N];中国计算机报;2003年

6 边歆;按需部署 灵活安全[N];网络世界;2009年

7 赵鑫;按需增长的数据备份[N];中国计算机报;2003年

8 三石;蓝色巨人逼近“按需存储”[N];中国计算机报;2004年

9 天然;新施乐解决方案为全彩色按需图书制作提供方便[N];中国包装报;2002年

10 ;惠普按需供应解决方案：所求即所得[N];计算机世界;2003年

相关博士学位论文 前1条

1 陈彬;分布环境下虚拟机按需部署关键技术研究[D];国防科学技术大学;2010年

相关硕士学位论文 前9条

1 刘冰;集群环境下的文件调度优化研究[D];太原理工大学;2012年

2 赵霄;基于单片机的蓝牙接口设计及数据传输的实现[D];北京交通大学;2008年

3 董杨生;USB主机在嵌入式系统中的应用[D];南京理工大学;2008年

4 武晓燕;基于嵌入式系统的语音、文件及消息网络传输实现[D];天津大学;2012年

5 胡明;Ethernet Over USB的原理及其实现[D];东南大学;2005年

6 沈琦;基于Chord的高性能文件存储技术的研究与设计[D];浙江大学;2007年

7 杨斌;基于网格的分布式存储系统中数据分布和传输机制研究与实现[D];北京交通大学;2008年

8 蔡晖;PASS系统的起源信息收集及传播的研究[D];浙江大学;2008年

9 徐彦栋;基于DICOM标准的按需打印系统设计和实现[D];上海交通大学;2012年

，

本文编号：1903677