基于云计算的定向搜索监控研究

发布时间：2018-10-08 17:11

【摘要】：传统的搜索引擎不能代替用户实行实时监控,为了解决这个问题,提出了定向搜索监控技术,用户可以根据自己的需求定制任务,包括指定搜索范围和搜索主题,系统按用户定义周期监控,并将结果及时主动地反馈给用户。以Google云平台Google App Engine作为开发平台,利用其提供的多项云服务,有效地解决了计划任务管理、多任务触发以及高并发等问题。重写了通用网络爬虫,通过算法改进提出了定向网络爬虫模型,定向网络爬虫与云端强大的服务器相结合,极大地缩短了爬行时间,提高了搜索监控效率。云平台和搜索监控技术的结合是平台即服务思想的一次成功实验。
[Abstract]:Traditional search engines can not replace users in real-time monitoring. In order to solve this problem, a directed search monitoring technology is proposed. Users can customize tasks according to their own needs, including specifying search scope and search topics. The system monitors the system according to the user-defined cycle, and feedback the result to the user in time. The Google cloud platform Google App Engine is used as the development platform to solve the problems of planning task management, multi-task triggering and high concurrency. This paper rewrites the general web crawler, and puts forward the directed network crawler model by improving the algorithm. The combination of the directional network crawler and the powerful server in the cloud can greatly shorten the crawling time and improve the efficiency of searching and monitoring. The combination of cloud platform and search monitoring technology is a successful experiment of platform as a service idea.
【作者单位】： 中南财经政法大学信息与安全工程学院;
【分类号】：TP391.3

【参考文献】

相关期刊论文 前4条

1 聂哲;基于WEB的面向主题搜索引擎的设计与实现[J];计算机工程与设计;2003年02期

2 郑国良;叶飞跃;张滨;林国俊;;基于网页内容和链接价值的相关度方法的实现[J];计算机工程与设计;2008年23期

3 罗林波;陈绮;吴清秀;;基于Shark-Search和Hits算法的主题爬虫研究[J];计算机技术与发展;2010年11期

4 徐风;王伟平;;基于综合形式(PAAS+IAAS)的云计算平台的研究与构建[J];科技资讯;2010年32期

【共引文献】

相关期刊论文 前8条

1 方勇;;分布式智能垂直搜索引擎系统的设计[J];价值工程;2012年13期

2 冯秀珍;赵翠芬;;面向主题相关的网站架构优化方法研究[J];科技管理研究;2012年03期

3 赵敏,王余旺,王俊,王芳潇,刁兴春;基于.Net的分布式Web Service模型的应用研究[J];计算机工程与设计;2005年04期

4 聂哲;温晓军;;基于可视化技术的虚拟现实引擎的设计与实现[J];计算机工程与设计;2008年09期

5 黄知义,周宁;几类搜索引擎的原理剖析、比较研究及发展趋势探讨[J];图书馆学研究;2005年03期

6 贺晟;程家兴;蔡欣宝;;基于模拟退火算法的主题爬虫[J];计算机技术与发展;2009年12期

7 李莹;吴晓军;;基于最大流及页面相似度的Web结构挖掘[J];计算机技术与发展;2011年10期

8 张博;蔡皖东;;面向主题的网络蜘蛛技术研究及系统实现[J];微电子学与计算机;2009年05期

相关硕士学位论文 前10条

1 陈志刚;网络Flash资源爬行器的设计与实现[D];山东师范大学;2011年

2 连惠杰;基于主题的教育信息定向采集系统[D];南京理工大学;2011年

3 黄荣游;基于Lucene的网络文学垂直搜索引擎的研究与实现[D];浙江工业大学;2011年

4 郭兆娟;基于人工生命的蜂群行为的仿真与研究[D];华东理工大学;2012年

5 何玉菁;基于XML/Java的元搜索引擎的研究[D];广东工业大学;2004年

6 王晓华;基于内容的搜索引擎技术研究及其应用[D];郑州大学;2005年

7 沈贺丹;核心能力评价系统的分类模块研究[D];辽宁工程技术大学;2006年

8 孙辉;中文人名搜索引擎的设计与实现[D];兰州大学;2006年

9 胡海龙;基于改进的后缀树算法的中英文聚类引擎的实现[D];吉林大学;2008年

10 孙荣霜;面向主题的多Agent搜索系统[D];扬州大学;2008年

【二级参考文献】

相关期刊论文 前10条

1 李名智;中文搜索引擎:现状、问题及对策[J];大学图书馆学报;1998年06期

2 张敏,高剑峰,马少平;基于链接描述文本及其上下文的Web信息检索[J];计算机研究与发展;2004年01期

3 林彤,江志军;Internet的搜索引擎[J];计算机工程与应用;2000年05期

4 朱炜;王超;李俊;潘金贵;;Web超链分析算法研究[J];计算机科学;2003年09期

5 康平波,田永鸿,黄铁军;智能化网页资源收集工具的设计与实现[J];计算机工程;2004年04期

6 欧阳柳波,李学勇,李国徽,王鑫;专业搜索引擎搜索策略综述[J];计算机工程;2004年13期

7 黄德才;戚华春;;PageRank算法研究[J];计算机工程;2006年04期

8 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期

9 黄萱菁,吴立德,石崎洋之,徐国伟;独立于语种的文本分类方法[J];中文信息学报;2000年06期

10 吴安清;张颖江;涂军;;主题搜索ROBOT综合爬行策略的研究[J];武汉理工大学学报;2006年02期

【相似文献】

相关期刊论文 前10条

1 王苹;FAT链表的搜索及其在子目录加密中的运用[J];现代计算机;1995年06期

2 武颖,耿子林;一种平衡树的研究之二[J];华北科技学院学报;2000年01期

3 徐宝文,张卫丰;一种改进的参考文献搜索模型及相关性技术研究[J];计算机研究与发展;2002年05期

4 林燕,姚青;一种新型的层次P2P搜索模型[J];计算机应用;2003年12期

5 张海峰,白振兴,张登福;五子棋中的博弈智能设计[J];现代电子技术;2004年07期

6 NT;;巧用Outlook2003的搜索功能组织邮件[J];电脑迷;2004年06期

7 张艳琳;;搜索与替换的高级利器——Search And Replace[J];办公自动化;2004年12期

8 乔珊;;穿上马甲我也能够“搜”到你 无视压缩包 直接找文件[J];电脑爱好者;2006年13期

9 喻钧;王长元;Sven Schuierer;喻萌;;基于后缀树思想构造Web生物数据搜索的数据模型[J];西安工程科技学院学报;2006年02期

10 曹雁锋;张先伟;;一种强连通判定算法[J];计算机应用与软件;2007年04期

相关会议论文 前10条

1 薛双青;刘川生;戴有学;;在报文监控和转发系统中利用数据库技术[A];数据库技术在气象领域的应用学术会议论文集[C];2001年

2 李波;;利用教育技术实现校本双语教学[A];信息技术环境构建与教学应用[C];2009年

3 吴迪;孙季丰;;一种基于图像对的确定平面方程的方法[A];第十三届全国图象图形学学术会议论文集[C];2006年

4 廖翔;黎建彬;陈康;朱亚平;;监控录相图像复原技术的研究与应用[A];中国感光学会第六次全国感光（影像）科学大会暨第五届青年学术交流会论文摘要集[C];2001年

5 李进喜;戴维士;韩正国;裴相杰;周元;周雯嫣;喜度;陈景丽;;风能报文实时接收上传监控报表制作技巧分析[A];第六届长三角气象科技论坛论文集[C];2009年

6 张晓晖;陈清明;汤玮;杨光;;反射率极值法监控薄膜淀积的计算机模拟[A];湖北省激光学会论文集[C];2000年

7 吴惠红;刘曙光;郭为群;;电力设备智能环境监控仪的设计与实现[A];第五届全国智能化电器及应用研讨会会议论文集[C];2001年

8 朱小明;张毅;;在综合信息平台下构建煤矿安全生产指挥系统[A];第十二届全国煤矿自动化学术年会论文专辑[C];2002年

9 李莉;任洪亮;李福义;;基于并行数据通信技术的核辐射监测系统仿真研究[A];第六届全国计算机应用联合学术会议论文集[C];2002年

10 刘春煌;桑苑秋;李继先;王石生;;沪宁线行车安全监控信息网络和管理中心的研究[A];第六届全国计算机应用联合学术会议论文集[C];2002年

相关重要报纸文章 前10条

1 记者 高延林;今年全省用“天眼”监控道路运输车辆[N];延安日报;2007年

2 刘一冰;RSA关注信息分类与监控[N];电脑商报;2008年

3 ;网康:绿色上网[N];中国计算机报;2007年

4 刘欢;软博会推反盗版“网络警察”[N];北京日报;2007年

5 何文;方正全力打造“王管”实现网管领域新突破[N];科技日报;2006年

6 赵晓涛;对付流氓软件有没有特效药？[N];网络世界;2006年

7 于翔;闭环跟踪：不一样的开发可视性[N];网络世界;2007年

8 于翔;MO：站在BSM前沿[N];网络世界;2007年

9 ;不能缺少的新备份工具[N];网络世界;2007年

10 王力;促进节能降耗减排[N];中国计算机报;2007年

相关博士学位论文 前7条

1 李淑霞;复杂信息环境下MES若干关键技术研究[D];华中科技大学;2004年

2 吴维敏;离散事件系统的Petri网控制器综合[D];浙江大学;2002年

3 黄理灿;e-Science网格的可扩展体系结构研究[D];浙江大学;2003年

4 董利达;基于序状Petri网的离散事件系统监控理论[D];浙江大学;2004年

5 于万钧;工作流管理技术研究[D];吉林大学;2004年

6 张朝辉;面向企业的工作流管理技术[D];吉林大学;2005年

7 韩炜;非相似容错计算机系统设计及其验证技术研究[D];西北工业大学;2002年

相关硕士学位论文 前10条

1 李慧;信息安全管理体系研究[D];西安电子科技大学;2005年

2 周密;昆明局安全监控预警系统构建研究[D];西南交通大学;2005年

3 管学理;数字高速公路的研究与实现[D];武汉大学;2004年

4 陈珂锐;基于无线传感器网络的应用系统前置的设计与实现[D];吉林大学;2008年

5 伍士s，

本文编号：2257591