矿山设备领域主题爬虫研究与设计

发布时间：2018-05-19 02:23

  本文选题：主题爬虫 + URL价值评价　； 参考：《计算机应用与软件》2014年11期

【摘要】：通过对主题网络爬虫的研究,设计一个对网络中的矿山设备资源进行收集的主题网络爬虫。设计内容主要包括主题网络爬虫的各个功能模块以及各功能模块实现的方法。例如判定网页主题相关度及URL价值评价等。使用的主要技术为向量空间模型和PageRank算法。矿山设备领域主题网络爬虫的研究与设计为矿山设备领域主题爬虫的实现奠定了基础。
[Abstract]:A subject network crawler is designed for the collection of mine equipment resources in the network. The main contents of the design include the function modules of the subject network crawler and the implementation of the functional modules. For example, the main techniques used are to determine the relevance of the web pages and the value of URL. The research and design of thematic web crawler in mine equipment area has laid a foundation for the realization of the theme crawler in the mining equipment field. PageRank
【作者单位】： 河北工程大学信息与电气工程学院;燕山大学信息科学与工程学院;
【分类号】：TP393.09

【参考文献】

相关期刊论文 前7条

1 周德懋;李舟军;;高性能网络爬虫:研究综述[J];计算机科学;2009年08期

2 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期

3 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

4 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

5 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

6 李琳琢;;网络爬虫软件的研究与开发[J];软件导刊;2011年05期

7 袁浩;黄烟波;;网页标题分析对主题爬虫的改进[J];计算机技术与发展;2009年06期

【共引文献】

相关期刊论文 前10条

1 王正;陆余良;刘金红;施凡;;基于Lucene的互联网文献信息检索系统的研究[J];安徽大学学报(自然科学版);2009年05期

2 孙素芬;罗长寿;张峻峰;于峰;张树亮;;农业信息资源整合系统研究与应用[J];安徽农业科学;2007年22期

3 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期

4 廉捷;刘云;;网络舆情中的信息预处理与自动摘要算法[J];北京交通大学学报;2010年05期

5 任斌;毛应爽;;基于本体的主动学习主题爬行的研究与实现[J];长春工程学院学报(自然科学版);2011年01期

6 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

7 武昊;廖安平;何超英;侯东阳;;基于主题相关度的地理信息Web服务爬虫研究[J];地理与地理信息科学;2012年02期

8 毛晓蛟;;搜索引擎中网络蜘蛛的研究与实现[J];电脑编程技巧与维护;2010年18期

9 张超;闫宏印;;多线程网络爬虫的设计与实现[J];电脑开发与应用;2012年06期

10 唐波;;网络爬虫的设计与实现[J];电脑知识与技术;2009年11期

相关会议论文 前8条

1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践（2009）[C];2010年

2 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

3 刘兵;胡学钢;;基于多链接分析的主题爬虫设计实现[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

4 戴玉刚;;藏文网页采集技术研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

5 韩子扬;李贵;李征宇;王凤英;;基于分布式结构的Deep Web结构化数据抽取系统[A];第九届沈阳科学学术年会论文集[C];2012年

6 韩子扬;李贵;李征宇;王凤英;;基于分布式结构的Deep Web结构化数据抽取系统[A];第九届沈阳科学学术年会论文集（信息科学与工程技术分册）[C];2012年

7 单铁城;张安妮;马德辉;;基于爬虫改进算法的个性化搜索引擎应用研究[A];战略性新兴产业与科技支撑——2012年山东省科协学术年会论文集[C];2012年

8 薛广普;;面向个性化的移动搜索技术研究[A];中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届“王选新闻科学技术奖”和优秀论文奖颁奖大会论文集（报业篇）[C];2013年

相关博士学位论文 前10条

1 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

2 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年

3 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年

4 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年

5 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年

6 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

7 王英;Deep Web数据集成关键技术研究[D];吉林大学;2010年

8 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年

9 王占一;Web文本挖掘中若干问题的研究[D];北京邮电大学;2012年

10 杨志;基于本体的语义互操作研究[D];北京邮电大学;2012年

【二级参考文献】

相关期刊论文 前10条

1 张敏,高剑峰,马少平;基于链接描述文本及其上下文的Web信息检索[J];计算机研究与发展;2004年01期

2 张三峰;吴国新;;一种面向动态异构网络的容错非对称DHT方法[J];计算机研究与发展;2007年06期

3 余锦,史树明;分布式网页排序算法及其传输模式分析[J];计算机工程与应用;2004年29期

4 万源;万方;王大震;;一种并行Crawler系统中的URL分配算法设计[J];计算机工程与应用;2006年S1期

5 周雪忠;吴朝晖;;文本知识发现:基于信息抽取的文本挖掘[J];计算机科学;2003年01期

6 李盛韬,赵章界,余智华;基于主题的Web信息采集系统的设计与实现[J];计算机工程;2003年17期

7 蒋宗礼;田晓燕;赵旭;;一种基于语义分析的主题爬虫算法[J];计算机工程与科学;2010年09期

8 陈华,罗昶,王建勇,段晖,薛明;基于Web的百万级FTP搜索引擎的设计与实现[J];计算机应用;2000年09期

9 贺广宜,罗莉;分布式搜索引擎的设计与实现[J];计算机应用;2003年05期

10 汪涛,樊孝忠;链接分析对主题爬虫的改进[J];计算机应用;2004年S2期

【相似文献】

相关期刊论文 前10条

1 杨欣宇;曹司博;樊华;;矿山设备故障诊断技术探讨[J];科技传播;2012年07期

2 王志霞;王荣祥;;加速矿山设备计算机管理系统的发展[J];现代矿业;2010年03期

3 李爱琴;子彦;;模糊数学在矿山设备故障诊断中的应用[J];世界采矿快报;1991年02期

4 管荣根,杨德云,赵晖;轮式自行矿山设备动态参数分析[J];矿山机械;1996年08期

5 黄鹏鹏,关开荣;矿山设备故障信息管理系统[J];有色金属(选矿部分);2004年04期

6 ;长沙矿山研究院自动化室科研成果报导[J];计算技术与自动化;1989年04期

7 ;信息时代的矿山装备[J];世界采矿快报;2000年07期

8 陈岐范;李宗强;程传伟;;矿山设备轴承的检查及运转异常分析[J];煤矿现代化;2008年01期

9 刘子成;游安弼;;虚拟矿山模型开发与教学应用[J];有色金属科学与工程;2012年02期

10 王庆,王辉;矿山设备CAD系统的开发[J];有色金属(矿山部分);2001年03期

相关会议论文 前6条

1 晏剑辉;王攀;;变频器在矿山设备耐压检测中的应用[A];中国计量协会冶金分会2009年年会论文集[C];2009年

2 魏胜国;;浅谈金属矿山设备的技改[A];鲁冀晋琼粤川辽七省金属（冶金）学会第十九届矿山学术交流会论文集（机械电气卷）[C];2012年

3 高澜庆;孙绩逵;;地下矿山设备的节能途径[A];1997中国钢铁年会论文集（上）[C];1997年

4 许伟文;;阿特拉斯·科普柯为水泥矿山生产提供全面解决方案[A];2010水泥矿山开采和资源综合利用技术论坛文集[C];2010年

5 常德河;王春生;;国内外金属矿山采矿技术及装备的发展[A];中国有色金属学会第三届学术会议论文集——战略研究综述部分[C];1997年

6 宋量;李卫;;合理选用耐磨铸件 促进矿山节能降耗[A];矿山企业节能减排与循环经济高峰论坛论文集[C];2010年

相关重要报纸文章 前10条

1 郁静;方华矿山：唱响自主创新主旋律[N];阳泉日报;2013年

2 艾满乾;试论构建和谐矿山的十个关系[N];中国黄金报;2006年

3 记者 周渝;四川金顶实施技改治理矿山[N];中国证券报;2003年

4 本报记者 张明;创新，，引领企业走出困境[N];中国煤炭报;2011年

5 季;南非电力和矿山设备市场扫描[N];国际商报;2003年

6 邢英俊 陈思;在奉献和挑战中成就精彩人生[N];铜陵有色报;2010年

7 王丽艳　周兆顺 毛新刚;全球最大水泥矿山设备供应商投资胶州[N];青岛日报;2011年

8 本报记者 崔玲;康明斯服务于矿山的双刃剑[N];中国机电日报;2001年

9 记者 魏洁 文婷 通讯员 满龙 贵飞;矿山配件加工成赤城矿企投资新宠[N];张家口日报;2012年

10 记者 刘国锋;矿山设备的“保健医”[N];首都建设报;2013年

相关硕士学位论文 前3条

1 张永玺;基于自适应遗传算法的矿山设备系统优化[D];昆明理工大学;2010年

2 陈奇;矿山设备的剩余寿命预测技术研究[D];兰州理工大学;2010年

3 范莉娜;基于Internet的大型矿山设备选型设计系统研究[D];太原理工大学;2008年

本文编号：1908296