基于以太网机群的海量高光谱数据处理系统平台设计

发布时间：2018-07-03 21:39

  本文选题：以太网机群 + 并行计算　； 参考：《应用光学》2013年04期

【摘要】：在一些大型图像处理系统中,通过构建服务器机群网络,可实现多台服务器并行处理图像数据流。针对高光谱遥感数据及处理算法特点,设计了基于以太网的服务器机群海量高光谱数据处理系统平台,平台由7台服务器和1台千兆网交换机构组成,其中选择CPU核数不低于8核的4台HP刀片服务器作为并行处理服务器,在服务器机群软件设计中,通过任务分解、算法流水化处理及网络负载均衡等方法来实现并行处理。该系统已应用在某遥感数据处理系统中,多台服务器同时写入SAN盘阵,可实现6 000Mbps的写入能力。
[Abstract]:In some large image processing systems, multiple servers can process image data streams in parallel by constructing server cluster network. According to the characteristics of hyperspectral remote sensing data and its processing algorithm, the platform of massive hyperspectral data processing system for server cluster based on Ethernet is designed. The platform is composed of 7 servers and 1 gigabit network switching mechanism. Four HP blade servers with no less than 8 cores of CPU are selected as parallel processing servers. In the design of server cluster software, parallel processing is realized by means of task decomposition, algorithm pipelining and network load balancing. The system has been applied to a remote sensing data processing system. Multiple servers write to San disk array at the same time, and the write capability of 6 000 Mbps can be realized.
【作者单位】： 西安石油大学计算机学院;中国科学院西安光学精密机械研究所;武警工程大学;
【基金】：国家973项目(2009CB724005)资助
【分类号】：TP393.09

【参考文献】

相关期刊论文 前3条

1 母杰;饶长辉;李梅;郑文佳;;基于FPGA和DSP的自适应光学系统在线性能评估的嵌入式处理平台设计[J];光电工程;2012年06期

2 李长森;马殙;李婷;;基于FPGA的图像信息处理平台设计[J];航天控制;2011年06期

3 倪颖杰;王律科;张军;;基于高性能数据挖掘的网络海量信息处理平台[J];计算机工程与科学;2009年S1期

【共引文献】

相关期刊论文 前10条

1 关亚林;曾艳奇;逯贵祯;;基于并行计算环境的混波室三维仿真[J];中国传媒大学学报(自然科学版);2008年03期

2 程克非;罗江华;李红波;;一种新的基于HPM并行计算性能数据采集方法[J];重庆邮电大学学报(自然科学版);2011年01期

3 王结臣;王豹;胡玮;张辉;;并行空间分析算法研究进展及评述[J];地理与地理信息科学;2011年06期

4 阮定益;;并行式matlab平台搭建[J];电脑知识与技术;2008年08期

5 胡海峰;;树状成本估算模型的并行处理[J];电脑知识与技术;2009年28期

6 古奋飞;王良侠;;浅析Linux集群技术[J];电脑知识与技术;2010年06期

7 古奋飞;王良侠;张莉;;基于Linux集群的高性能低成本的校园网解决方案[J];电脑知识与技术;2012年02期

8 李焱;胡祥云;金钢燮;吴桂桔;廖国忠;王程;;基于MPI的一维大地电磁并行计算研究[J];地球物理学进展;2010年05期

9 李焱;胡祥云;吴桂桔;叶益信;廖国忠;;基于MPI的二维大地电磁正演的并行计算[J];地震地质;2010年03期

10 刘晓群;邹欣;范虹;;基于并行云计算模式的建筑结构设计[J];电子技术应用;2011年10期

相关会议论文 前7条

1 肖永浩;黄清南;;基于分块数据结构的冲击问题并行计算[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

2 李根;李连崇;唐春安;唐世斌;王振;;岩石流固/热固作用下损伤演化并行分析系统及应用[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

3 张亚林;吴锦龙;李于锋;赵晓平;;PANDA软件框架的应用模板研究[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

4 董延华;张晔;白文秀;;影响基于PC集群系统的因素研究[A];第六届全国信息获取与处理学术会议论文集（2）[C];2008年

5 武艳强;江在森;杨国华;;最小二乘配置方法在提取GPS时间序列信息中的应用[A];GPS技术应用研究论文专辑[C];2007年

6 张志敏;梁逸曾;王家俊;;并行交互检验方法及其在近红外光谱中的应用[A];中国化学会第26届学术年会化学信息学与化学计量学分会场论文集[C];2008年

7 程煜峰;徐幼平;普业;;并行计算在数值预报模式中的应用[A];第28届中国气象学会年会——S17第三届研究生年会[C];2011年

相关博士学位论文 前10条

1 陆军;基于组合学的数据编码方法研究[D];哈尔滨工程大学;2010年

2 程汤培;地下水流动数值模拟的高效并行计算研究[D];中国地质大学（北京）;2011年

3 刘苗;基于认知无线电的PAPR优化算法及ICI抑制算法的研究[D];吉林大学;2011年

4 吴超;信息检索中top-k问题的并行算法及优化研究[D];中国科学技术大学;2011年

5 李明国;混凝土梁桥沥青铺装结构分析与材料优化研究[D];长安大学;2011年

6 董强;几类规则互连网络的嵌入与容错嵌入研究[D];重庆大学;2010年

7 刁克功;分区管理模式给水管网的水力分析与模拟技术研究[D];北京工业大学;2011年

8 龚春叶;面向异构体系结构的粒子输运并行算法研究[D];国防科学技术大学;2011年

9 李根;基于模拟的水岩耦合变形破坏过程及机理研究[D];大连理工大学;2011年

10 刘钊;基于计算智能的计算机视觉及其应用研究[D];武汉科技大学;2011年

相关硕士学位论文 前10条

1 朱圣鑫;并行GPBiCG（m，，l）算法与预处理技术[D];中国工程物理研究院;2010年

2 兰任;基于并行混合粒子群算法的蛋白质结构预测[D];大连理工大学;2010年

3 高和东;GPU并行计算在LSSVM建模中的研究与应用[D];大连理工大学;2010年

4 张晶;ABEEMσπ/MM模型中能量求解的并行化[D];辽宁师范大学;2010年

5 田野;环境卫星光学影像自动配准算法研究与并行实现[D];辽宁工程技术大学;2009年

6 罗r

本文编号：2095091