分布式Web信息采集系统的设计与实现

发布时间：2018-06-10 19:50

  本文选题：分布式系统 + Web信息采集　； 参考：《哈尔滨理工大学学报》2010年01期

【摘要】：Web信息的急剧增长,给信息的有效使用带来了巨大挑战.作为搜索引擎的重要组成部分,Web信息采集扮演着越来越重要的角色.文中从并行性、负载均衡、体系结构以及可扩展性这4个方面详细讨论了分布式Web信息采集系统的设计与实现.经验证,该分布式Web信息采集系统能够实现负载均衡,并具有良好的可扩展性.
[Abstract]:The rapid growth of Web information brings great challenges to the effective use of information. As an important part of search engine, Web information collection plays a more and more important role. This paper discusses the design and implementation of distributed Web information collection system from four aspects: parallelism, load balancing, architecture and extensibility. It is proved that the distributed Web information acquisition system can achieve load balance and has good scalability.
【作者单位】： 哈尔滨理工大学测控技术与通信工程学院;
【分类号】：TP274.2

【参考文献】

相关期刊论文 前1条

1 张魁麟,邵春福,王力劭;基于分布式并行算法的动态交通流分配研究[J];北方交通大学学报;2002年05期

【共引文献】

相关期刊论文 前4条

1 隽志才;高林杰;倪安宁;;面向对象的交通网络分布式仿真并行数据结构[J];交通与计算机;2006年01期

2 山岚,徐耀;基于Agent的智能化专业信息采集系统[J];计算机工程与设计;2005年11期

3 李海英;;网络时代信息资源的采集、描述与质量控制——以东北林业大学重点学科导航库为例[J];图书馆学研究;2006年03期

4 姜有辉;高琳琦;;个性化推荐系统中顾客信息的隐式采集方法研究[J];现代情报;2006年11期

相关会议论文 前1条

1 姜丽华;张宏斌;;基于Multi-Agent的个性化Web信息采集系统[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年

相关博士学位论文 前7条

1 魏明;基于HLA的城市道路交通仿真系统研究[D];中国农业大学;2004年

2 高林杰;交通网络动态路径求解并行仿真算法研究与实现[D];吉林大学;2006年

3 李巧茹;交通网络动态配流及其相关问题研究[D];天津大学;2006年

4 倪安宁;并行交通仿真模型及关键算法研究[D];吉林大学;2007年

5 方辉;机械制造信息资源的非规范知识处理技术研究[D];四川大学;2007年

6 任其亮;时空路网交通拥堵预测与疏导决策方法研究[D];西南交通大学;2007年

7 尹世群;Web文本分类关键技术研究[D];西南大学;2008年

相关硕士学位论文 前8条

1 欧歌;专题式Web信息获取技术研究[D];北京化工大学;2005年

2 田苗;岳阳林纸集团综合信息管理系统[D];中南大学;2004年

3 郑火国;农业信息服务平台的构建与实现[D];中国农业科学院;2006年

4 丛磊;桌面搜索引擎的研究与实现[D];北京化工大学;2006年

5 李春光;互联网信息分布式深度搜索的研究[D];哈尔滨工程大学;2006年

6 张真;基于Ontology的分布式信息检索技术研究[D];中国海洋大学;2006年

7 魏霞;面向网络教育的学习评价依据采集系统的研究与实现[D];浙江工业大学;2007年

8 吴兵华;基于深度网络的信息检索模型研究[D];武汉理工大学;2008年

【二级参考文献】

相关期刊论文 前1条

1 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期

【相似文献】

相关期刊论文 前10条

1 黄韬;;浅谈远程控制下通信电源分布式监控系统[J];通信电源技术;2011年04期

2 张冬;陈涛;乔玉龙;;AUV分布式自主控制与使命管理方法[J];火力与指挥控制;2011年09期

3 胡丕俊;李亮举;彭会军;李彦斌;周月杰;;冶金过程控制开发平台中进程通信系统的开发及应用[J];冶金自动化;2011年05期

4 郭力兵;饶爱水;奚宏明;茅文浩;张晓红;;基于ICE的分布式火箭遥测数据处理架构设计[J];遥测遥控;2011年04期

5 张岩;;流程空载实时监测C/S系统下的语音报警系统[J];港口科技;2011年06期

6 徐英博;黄琰;朱善安;;基于GPRS网络的远程控制系统中心机软件设计[J];机电工程;2011年06期

7 庄玉飞;黄琦;井实;;基于GPS和IEEE-1588协议的时钟同步装置的研制[J];电力系统保护与控制;2011年13期

8 王雪茹;袁建清;崔然;;多智能体技术及其在交通控制系统中的应用[J];中国新技术新产品;2011年17期

9 李尚坤;苏海哲;;调度主站系统的硬件架构[J];科技传播;2011年15期

10 陈馨;付志超;张聪;;LabVIEW Web Server在非正弦电能远程测控系统中的应用[J];宇航计测技术;2011年03期

相关会议论文 前10条

1 刘渊;姜建国;缪继东;范晓岚;;一个分布式系统通信控制软件的设计与实现[A];中国工程物理研究院科技年报（2002）[C];2002年

2 曹德亮;贾银芳;赖森贞;;梅钢冷连轧计算机过程控制系统[A];冶金企业自动化、信息化与创新——全国冶金自动化信息网建网30周年论文集[C];2007年

3 熊继平;;基于JMF的运动检测分布式系统的研究及实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年

4 唐l，

本文编号：2004392