基于社会网络分析的Web数据挖掘研究

发布时间：2017-06-15 17:02

  本文关键词：基于社会网络分析的Web数据挖掘研究，由笔耕文化传播整理发布。

【摘要】：随着互联网的快速发展,网络上的网页数量呈现爆炸式的增长。搜索引擎虽然能够在一定程度上给出相关主题的网页搜索结果,但大部分搜索引擎搜索范围小,搜索结果很大一部分与用户搜索要求无关。如何从数以万亿的网页中准确的寻找到需要的网页,成为一个亟需解决的问题。Web上存在一类权威网页,它们具有较高的可信度,被大部分相关主题的网页所链接。如果搜索引擎在给出搜索结果时,给出的是权威网页,那么就可以大大提高搜索质量与搜索效率。社会网络分析最初是用于分析人类群体关系,寻找群体核心成员的。Web上的网页链接关系如同现实社会中人与人的关系。本文将社会网络分析应用于网页挖掘,研究了社会网络分析法在Web数据挖掘的应用。文中首先对Web数据挖掘进行了相关阐述,然后对社会网络分析方法进行了详细介绍,并对各类社会网络分析软件进行了对比,选取了UCINET作为实验的分析软件。同时详细介绍并开发了实验所用到的网络爬虫。本文提出了基于社会网络分析的Web数据挖掘方法,并详细介绍了方法的工作原
【关键词】：权威网页 Web数据挖掘 社会网络分析 网络爬虫
【学位授予单位】：山东理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-12
• 1.1 研究背景8
• 1.2 国内外研究现状8-11
• 1.2.1 Web数据挖掘研究现状8-10
• 1.2.2 社会网络分析研究现状10-11
• 1.3 论文主要内容与组织结构11
• 1.4 本章小结11-12
• 第二章 Web数据挖掘与社会网络分析方法介绍12-25
• 2.1 Web数据挖掘12-14
• 2.1.1 数据挖掘12-13
• 2.1.2 Web数据挖掘13-14
• 2.1.3 Web搜索引擎14
• 2.2 社会网络14-18
• 2.2.1 社会网络概述14-15
• 2.2.2 社会网络表示方法15-17
• 2.2.3 社会网络基本概念17-18
• 2.3 社会网络分析方法18-22
• 2.3.1 中心性分析18-21
• 2.3.2 凝聚子群分析21-22
• 2.4 权威与PageRank算法22-24
• 2.4.1 权威22-24
• 2.4.2 PageRank算法24
• 2.5 本章小结24-25
• 第三章 网络爬虫设计与社会网络分析软件选取25-39
• 3.1 网络爬虫的设计25-31
• 3.1.1 网络爬虫基本原理25-26
• 3.1.2 Python环境搭建26-28
• 3.1.3 网络爬虫所需模块介绍28-29
• 3.1.4 网络爬虫代码编写29-31
• 3.2 社会网络分析软件选取31-38
• 3.2.1 社会网络分析软件31-32
• 3.2.2 典型分析软件介绍32-38
• 3.3 本章小结38-39
• 第四章 方案设计与数据处理39-47
• 4.1 方案设计39-42
• 4.1.1 方案设计原因与目的39
• 4.1.2 实验思路39-42
• 4.2 实验数据收集与处理42-46
• 4.2.1 URL获取42-43
• 4.2.2 URL处理查重43-44
• 4.2.3 邻接矩阵设计思路44-46
• 4.3 本章小结46-47
• 第五章 实验与结果分析47-57
• 5.1 实验过程47-49
• 5.1.1 构建邻接矩阵47-48
• 5.1.2 数据导入48-49
• 5.2 实验结果分析49-56
• 5.2.1 中心性分析49-52
• 5.2.2 凝聚子群分析52-55
• 5.2.3 网络密度分析55
• 5.2.4 实验结论55-56
• 5.3 本章小结56-57
• 第六章 总结与展望57-59
• 6.1 总结57
• 6.2 展望57-59
• 参考文献59-61
• 致谢61-62
• 攻读硕士学位期间公开发表的论文及科研情况62

【相似文献】

中国期刊全文数据库 前10条

1 叶新东;朱少华;;大学生社会网络与学习的相关性调查研究[J];电化教育研究;2007年02期

2 陈淑洁;叶新东;邹文才;;社会网络分析在网络课程评价中的应用研究[J];现代教育技术;2009年03期

3 魏顺平;;社会网络分析及其应用案例[J];现代教育技术;2010年03期

4 党洪莉;;社会网络分析推进知识的共享与创新[J];图书馆学研究;2010年05期

5 杨利军;魏晓峰;;基于知识图谱的国外社会网络分析领域可视化研究[J];情报科学;2011年07期

6 赵丽娟;;社会网络分析的基本理论方法及其在情报学中的应用[J];图书馆学研究;2011年20期

7 李纲;李昂;;基于社会网络分析的学术团体合著研究——以武汉大学计算机学院为例[J];信息资源管理学报;2011年03期

8 温芳芳;;基于社会网络分析的专利合作模式研究[J];情报杂志;2013年07期

9 谷斌;黄家良;;社会网络分析理论与方法在虚拟社区知识共享中的应用研究[J];现代情报;2014年01期

10 熊文鹏;徐江龙;;社会网络分析在网络公共领域舆论管理中的应用[J];知识经济;2014年07期

中国重要会议论文全文数据库 前10条

1 马绍奇;张楠楠;张敏强;;中国心理学界论文合作网络的社会网络分析[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年

2 蔡剑文;苏海潮;;厦门大学图书馆人文社科实验室的实践与启示[A];福建省图书馆学会2011年学术年会论文集[C];2011年

3 赵燕平;孙铁铮;;基于多重社会网络分析理论的风险发现与监测[A];第12届全国信息管理与工业工程学术会议论文汇编[C];2008年

4 汪明亮;;犯罪学研究的一个新视角:社会网络分析[A];中国犯罪学年会论文集（2011年度）[C];2011年

5 李东泉;魏登宇;卢金河;;社会网络分析在规划管理组织中的应用研究——以常州市规划局新北分局为例[A];规划创新：2010中国城市规划年会论文集[C];2010年

6 周明洁;王可欣;陈爽;;什么样的人更具有影响力:一项基于人格特征的社会网络分析[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年

7 陈百龄;;资料库中寻人脉:应用网络分析于电脑辅助报道[A];新闻学论集（第25辑）[C];2010年

8 郝志运;钟佳桂;莫云生;;基于社会网络分析的知识权力中心研究[A];2007年全国第十一届企业信息化与工业工程学术会议论文集[C];2007年

9 李勇进;陈兴鹏;;白银市资源型企业间关系的社会网络分析[A];中国地理学会2006年学术年会论文摘要集[C];2006年

10 吴冰;王重鸣;;软件产业社会网络分析：一个案例研究[A];上海市社会科学界第五届学术年会文集（2007年度）（政治·法律·社会学科卷）[C];2007年

中国重要报纸全文数据库 前2条

1 记者 徐勇;社会网络分析应用 稳步提升用户ARPU[N];人民邮电;2009年

2 华南师范大学政治与行政学院 郭台辉;社会网络分析介于宏观与微观之间[N];中国社会科学报;2014年

中国硕士学位论文全文数据库 前10条

1 宋文丹;社会化问答社区的社会网络分析[D];西南交通大学;2015年

2 王韬;社会网络分析视角下政府微博有效回应网络舆论研究[D];西南交通大学;2015年

3 李如亮;Moodle社会网络分析插件的设计、开发与应用[D];陕西师范大学;2015年

4 李伟;基于社会网络分析的泛珠三角经济联系与合作网络结构研究[D];电子科技大学;2014年

5 宋洋;基于社会网络分析的Web数据挖掘研究[D];山东理工大学;2015年

6 包惠民;社会网络视角下教育虚拟社区交往效果研究[D];曲阜师范大学;2012年

7 王莹;社会网络分析在协作学习评价中的应用研究[D];上海师范大学;2008年

8 葛彦菲;基于社会网络分析的涉农微博交流特性研究[D];南京农业大学;2012年

9 王慧;社会网络分析在学科热点分析中的实证研究[D];江苏大学;2010年

10 胡益;基于社会网络分析的企业校友网络知识转移的研究[D];江西师范大学;2013年

  本文关键词：基于社会网络分析的Web数据挖掘研究，由笔耕文化传播整理发布。

，

本文编号：452948