网页爬虫技术的关键技术研究探索

发布时间：2017-06-14 23:11

  本文关键词：网页爬虫技术的关键技术研究探索，由笔耕文化传播整理发布。

【摘要】：互联网技术的快速发展,使得网络上各种数据信息呈现出几何增长的趋势,以往搜索数据的工具越来越跟不上时代的潮流,查找效率低、成本高的缺陷日益凸显。爬虫技术实现所用到的算法是搜索引擎的关键技术,算法性能的优良决定着搜索引擎的搜索精度和搜索效率。对于互联网中数据的数据量大、数据类型多、实时性要求高的特点,对各种爬虫算法的优缺点进行分析,该文设计使用多线程机制的爬虫算法,可以提高网页的查全率。
【作者单位】： 安徽电信工程有限责任公司;
【关键词】： 爬虫技术 网页挖掘 多线程
【基金】：高等学校省级教学研究重点项目(2015jyxm136)
【分类号】：TP393.092;TP391.3
【正文快照】： 1引言现今,社会经济生活的各个方面变得越来越“互联网化”,互联网式经济贸易逐渐取代传统的经济模式,互联网金融市场的快速发展,在我国的经济结构中形成了服务于互联网金融的主流经济模式。致使各大商业银行也更加积极地开创互联网经济方面的业务,也强化了实体经济的服务效率

【相似文献】

中国期刊全文数据库 前10条

1 白红;;浅议Java多线程程序设计[J];计算机光盘软件与应用;2013年02期

2 田晓红;国产多线程浏览器“七仙女”的靓点[J];电脑爱好者;2000年24期

3 谢谦,向国全;多线程串行通信实现技术[J];河南大学学报(自然科学版);2001年01期

4 margiex;;多线程中线程的同步及其应用[J];中文信息;2002年02期

5 肖烨;杨智勇;;Java多线程程序设计入门[J];中文信息;2003年06期

6 苏统华;;多线程串行通信系统的研究[J];中文信息;2003年07期

7 崔立剑;吴平;;Java多线程设计模式研究[J];计算机与现代化;2006年11期

8 甘群文;;C#多线程同步与异步的实现[J];电脑开发与应用;2009年09期

9 王沛礼;;高职学生如何掌握Java多线程同步技术[J];科技信息;2010年03期

10 卢海军;;最小的多线程框架[J];单片机与嵌入式系统应用;2010年04期

中国重要会议论文全文数据库 前10条

1 姚铎;刘亚萍;;一种基于多线程的BGP策略并行模型的研究方法[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年

2 刘阳;李孝辉;;多线程版本的串口读写技术研究[A];第三届全国虚拟仪器大会论文集[C];2008年

3 董光波;吴宁生;高效;曾庆虎;杨进;温京;;一种组件式多线程网络应用架构的设计与实现[A];2009年中国智能自动化会议论文集（第六分册）[中南大学学报（增刊）][C];2009年

4 肖静静;李双峰;彭智勇;;用多线程方式优化PostgreSQL的查询处理[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

5 高齐新;扬金柱;赵大哲;刘积仁;;基于多线程的三维医学影像的重建[A];第十四届全国图象图形学学术会议论文集[C];2008年

6 闻建芬;何加铭;曾兴斌;陈静;;P2P网络资源多线程传输改进机制[A];浙江省电子学会2010学术年会论文集[C];2010年

7 王楠;慕晓冬;王宁燕;宋洪军;李佳晨;张阳子;;针对多线程架构的决策树查询算法优化及应用[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

8 梁志威;;用Java语言实现蓝牙聊天平台[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年

9 霍利锋;白凤娥;;基于多线程的移动短信平台设计[A];AECC专题学术研讨会论文集[C];2007年

10 袁小龙;刘增才;李晓霞;郭力;;基于XML的半结构化化学信息提取系统的重构与优化[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

中国重要报纸全文数据库 前10条

1 ;为何不能进行多线程下载文件？[N];电脑报;2001年

2 郭长佑;多核与多线程——差别到底在哪里？[N];电子资讯时报;2006年

3 ;网络业未来12件大事(下)[N];网络世界;2007年

4 nfy;IE6也能实现多线程下载[N];电脑报;2002年

5 武汉 Tianyi;创建简单的多线程程序[N];电脑报;2001年

6 CPW记者 凡妮;Sun年末奉硕果 预示复苏在即[N];电脑商报;2005年

7 张志刚;多线程走进网络[N];中国计算机报;2006年

8 凡妮;Sun 2009财年二季度财报总体好于预期[N];电脑商报;2009年

9 赵长林邋姜建华;Sun:“芯”如潮涌[N];中国计算机报;2007年

10 计算机世界实验室 吴挺;英特尔的8倍“核动力”[N];计算机世界;2007年

中国博士学位论文全文数据库 前4条

1 逄龙;多线程程序中关联变量原子性验证关键技术研究[D];哈尔滨工业大学;2015年

2 赵荣彩;多线程低功耗编译优化技术研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 杨华;片上多线程体系结构资源分配策略的研究[D];哈尔滨工业大学;2006年

4 徐海峰;多线程的内存调度[D];浙江大学;2011年

中国硕士学位论文全文数据库 前10条

1 张传勇;基于hadoop影视碎片云存储的设计与实现[D];山东大学;2015年

2 张龙;聊天系统的设计与实现[D];大连理工大学;2015年

3 刘丽;嵌入式WM8960音频驱动及多线程播放器的设计[D];哈尔滨工业大学;2015年

4 陈结;同构多核环境下主从式多线程动态二进制翻译器[D];华中科技大学;2009年

5 殷绍剑;嵌入式多线程远程调试器研究与实现[D];电子科技大学;2013年

6 郜宪东;基于多线程的电信服务开通系统[D];电子科技大学;2011年

7 关旋旋;多线程软件中基于离散控制理论的故障避免[D];浙江工商大学;2014年

8 徐晓展;多线程并行传输技术的设计与实现[D];北京邮电大学;2011年

9 黄仁青;高速多线程剪卷焊一体化钢带生产线的设计[D];天津大学;2012年

10 张昱;多线程复制系统的确定性调度框架MDSF的研究与实现[D];北京邮电大学;2009年

  本文关键词：网页爬虫技术的关键技术研究探索，由笔耕文化传播整理发布。

，

本文编号：450807