基于URL定位信息的BBS数据挖掘方法研究

发布时间：2018-07-16 20:51

【摘要】：利用Web页面的采集序位和被检索页面的相关信息和主题,使得以主题为分块的网络爬虫算法,能够尽可能多地把整个Web按照主题为依据进行分块整合,可以采用对URL定位信息,提高了页面的高效检索能力。仿真实验中表明,提出的主题相关爬虫算法能够跨越BBS中URL网页中的断裂带,提高了URL网页的召回率,也不至于因为网页的断裂而中止检索。算法精度分析表明,误判点都在等分线附近徘徊,偏差不大,表明算法精度较高。
[Abstract]:Based on the collection order of Web pages and the relevant information and themes of the retrieved pages, the web crawler algorithm based on the topic can integrate the whole Web into blocks according to the theme as much as possible, and can use the URL location information. Improved the efficient retrieval ability of the page. The simulation results show that the proposed algorithm can cross the fault bands of URL pages in BBS, improve the recall rate of URL pages, and not stop the retrieval because of the breaking of web pages. The accuracy analysis of the algorithm shows that the error points are hovering around the isobaric line, and the deviation is small, which indicates that the accuracy of the algorithm is high.
【作者单位】： 安阳师范学院计算机与信息工程学院;安阳师范学院公共计算机教学部;
【分类号】：TP393.092;TP391.3

【参考文献】

相关期刊论文 前1条

1 刘佐达;张久岭;陈茂科;李星;;一种面向BBS信息检索的主题网络爬虫算法[J];郑州大学学报(理学版);2010年02期

【共引文献】

相关期刊论文 前3条

1 耿向华;潘宁;;引入或然状态优化控制的网络文本特征挖掘[J];科技通报;2014年06期

2 康凤;蒋小惠;冯梅;;网络伪装隐形文本特征检测及数据挖掘方法[J];科技通报;2014年04期

3 罗蓉;;基于异层迭代算法的网络隐晦词汇深挖技术[J];科技通报;2014年04期

相关硕士学位论文 前2条

1 陈琳;网络舆论领袖培育关键技术研究[D];哈尔滨工业大学;2011年

2 刘邵博;社会网络新媒体的信息获取与情感分类关键技术研究及实现[D];河北科技大学;2013年

【二级参考文献】

相关期刊论文 前2条

1 李晓亚;赫枫龄;左万利;;基于网页分块技术主题爬行器的实现[J];吉林大学学报(理学版);2007年06期

2 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

【相似文献】

相关期刊论文 前10条

1 丁纪云,蔡春娥;利用构造数据集评定数据挖掘过程的方法[J];湖南广播电视大学学报;2001年02期

2 任承业,罗伟其;校园信息系统中CRM与数据挖掘的结合和应用[J];计算机工程与应用;2003年13期

3 王艳;数据挖掘在数字图书馆中的应用[J];情报科学;2003年02期

4 邵红全,赵茜;用SQL Server2000实现数据挖掘的技术与策略[J];电脑开发与应用;2003年04期

5 耿庆鹏,卢子芳;利用数据挖掘技术实现对电信行业用户欺诈行为的预测[J];电信快报;2003年10期

6 蒋良孝,蔡之华;基于数据仓库的数据挖掘研究[J];计算技术与自动化;2003年03期

7 叶静,蔡之华;遥感图像中的数据挖掘应用概述[J];计算机与现代化;2003年10期

8 黄解军,万幼川,潘和平;银行客户关系管理与数据挖掘的应用[J];计算机工程与设计;2003年07期

9 崔强,朱卫东;基于数据挖掘的铁路机务段成本控制系统[J];铁路计算机应用;2003年01期

10 杨思春;基于数据仓库的数据挖掘技术分析研究[J];微机发展;2003年09期

相关会议论文 前10条

1 郭学军;陈晓云;;粗集方法在数据挖掘中的应用[A];第十六届全国数据库学术会议论文集[C];1999年

2 徐慧;;基于Web的文献数据挖掘[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

3 孙迎;;医院信息的数据挖掘与方法研究[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年

4 薛晓东;李海玲;;数据挖掘的客户关系管理应用[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集（下册）[C];2004年

5 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病“阴阳类证”辨证规范的数据挖掘研究[A];中华医学会第十三次全国神经病学学术会议论文汇编[C];2010年

6 薛鲁华;张楠;;聚类分析在Web数据挖掘中的应用[A];北京市第十三次统计科学讨论会论文选编[C];2006年

7 朱扬勇;黄超;;基于多维模型的交互式数据挖掘框架[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

8 陈涛;胡学钢;陈秀美;;基于数据挖掘的教学质量评价体系分析[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

9 王星;谢邦昌;戴稳胜;;数据挖掘在保险业中的应用[A];北京市第十二次统计科学讨论会论文选编[C];2003年

10 郭建文;黄燕;印鉴;杨小波;梁兆辉;;建立中风病阴阳类证辨证规范的数据挖掘研究[A];2010中国医师协会中西医结合医师大会摘要集[C];2010年

相关重要报纸文章 前10条

1 李开宇　黄建军 田长春;把“数据挖掘”作用发挥出来[N];中国国防报;2009年

2 华莱士;“数据挖掘”让银行赢利更多[N];国际金融报;2003年

3 记者　晏燕;数据挖掘让决策者告别“拍脑袋”[N];科技日报;2006年

4 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年

5 张立明;数据挖掘之道[N];网络世界;2003年

6 中圣信息技术有限公司 李辉;数据挖掘在CRM中的作用[N];中国计算机报;2001年

7 田红生;数据挖掘在CRM中的应用[N];中国经济时报;2002年

8 王广宇;数据挖掘 加速银行CRM一体化[N];中国计算机报;2004年

9 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年

10 张舒博;数据挖掘 提升品牌的好帮手[N];首都建设报;2009年

相关博士学位论文 前10条

1 孙丽;工艺知识管理及其若干关键技术研究[D];大连交通大学;2005年

2 胡志坤;复杂有色金属熔炼过程操作模式智能优化方法研究[D];中南大学;2005年

3 刘革平;基于数据挖掘的远程学习评价研究[D];西南师范大学;2005年

4 刘寨华;基于临床数据分析的病毒性心肌炎证候演变规律研究[D];黑龙江中医药大学;2006年

5 王川;基因芯片数据管理及数据挖掘[D];中国科学院研究生院（上海生命科学研究院）;2004年

6 王涛;挖掘序列模式和结构化模式的精简集[D];华中科技大学;2006年

7 郭斯羽;动态数据中的数据挖掘研究[D];浙江大学;2002年

8 李旭升;贝叶斯网络分类模型研究及其在信用评估中的应用[D];西南交通大学;2007年

9 刘东升;面向连锁零售企业的客户关系管理模型（R-CRM）研究[D];浙江工商大学;2008年

10 余红;网络时政论坛舆论领袖研究[D];华中科技大学;2007年

相关硕士学位论文 前10条

1 廖赛恩;养生方数据挖掘分析系统的研制[D];湖南中医药大学;2010年

2 李坤然;数据挖掘在股市趋势预测的应用研究[D];中南林业科技大学;2008年

3 郑宏;数据挖掘可视化技术的研究与实现[D];西安电子科技大学;2010年

4 杜金刚;数据挖掘在电信客户关系管理及数据业务营销中的应用[D];北京邮电大学;2010年

5 徐路;基于决策树的数据挖掘算法的研究及其在实际中的应用[D];电子科技大学;2009年

6 梁小鸥;数据挖掘在高职教学管理中的应用[D];华南理工大学;2011年

7 王浩;数据挖掘在上海市职业能力考试院招录考试优化管理项目中的运用研究[D];华东理工大学;2012年

8 黎卫英;数据挖掘在中职幼教课程改革中的应用[D];福建师范大学;2009年

9 张煜辉;数据挖掘和SPC在生产过程质量控制中应用研究[D];上海交通大学;2009年

10 刘华敏;数据挖掘在高职院校学生成绩分析中的应用[D];安徽大学;2011年

，

本文编号：2127636