网络数据的分析方法研究

发布时间：2017-10-11 12:25

  本文关键词：网络数据的分析方法研究

  更多相关文章： 复杂网络 谱方法 模块度 Spark 分布式计算

【摘要】：随着数据的爆炸式的增长,我们已经进入大数据时代,如何从这些数据资源中挖掘出有价值的信息,正在成为工业界和学术界的热点之一.而网络数据是一种重要的数据形式,通常从各种复杂系统收集到的数据形式是孤立的,将数据之间隐含相互关系的链接整合处理后就形成一个复杂网络.因此对网络数据的研究分析是深入理解大数据内涵价值的途径之一.本文在第二章综述了复杂网络的启发式社区发现方法.考虑含有节点邻域信息的新模块度函数的社区发现方法和最优分组下标度参数的选择问题,通过谱松弛方法求解模块度函数的最大化问题,最终利用新算法快速求解,并通过真实网络数据验证算法能更好的发现社区.进一步,要研究庞大数据量的网络数据结构的性质与形成机制：必须先实现对于真实网络数据的获取,从而验证算法的有效性.而分布式计算是快速高效处理数据的框架,因此开展基于分布式计算框架的数据处理是必由之路.本文第三章,面对真实的网络数据,我们实现了从网页上收集数据并对于此数据基于Spark分布式计算框架高效快速的完成了对数据的清洗与整理.
【关键词】：复杂网络 谱方法 模块度 Spark 分布式计算
【学位授予单位】：西北大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：O157.5;TP311.13
【目录】：

• 中文摘要3-4
• 英文摘要4-6
• 第一章 绪论6-9
• §1.1 引言6-7
• §1.2 本文主要工作7-9
• 第二章 网络数据结构的社区发现方法9-17
• §2.1 启发式社区发现方法概述9-10
• §2.2 模块度函数Q~(Dist)最大化及算法10-13
• §2.3 实验13-16
• §2.4 本章小结16-17
• 第三章 基于Spark框架的网络数据获取17-26
• §3.1 分布式计算框架17-19
• §3.2 Spark分布式计算框架19-21
• §3.3 基于Spark的大众点评数据分析21-23
• §3.4 本章小结23-26
• 总结与展望26-32
• 参考文献32-35
• 攻读硕士学位期间取得的科研成果35-36
• 致谢36

【相似文献】

中国期刊全文数据库 前7条

1 朱云溪;;基于数据碰撞消除的Web网络数据蔽障传输算法[J];科技通报;2013年10期

2 任世贤;;网络数据回路异常的科学发现[J];自然科学进展;2008年12期

3 钟卫;浅谈网络数据的加密[J];甘肃科技;2005年03期

4 钟卫;浅谈网络数据的加密[J];甘肃科技;2005年04期

5 魏英韬;;对通信网络数据的探讨[J];黑龙江科技信息;2011年03期

6 王岩;;多元化计算机网络传输方式的解析[J];科技资讯;2013年26期

7 ;[J];;年期

中国重要会议论文全文数据库 前1条

1 邓金鹏;;基于IP欺骗技术网络数据阻断的实现[A];科技创新与产业发展（A卷）——第七届沈阳科学学术年会暨浑南高新技术产业发展论坛文集[C];2010年

中国重要报纸全文数据库 前4条

1 本报驻堪培拉记者 陈小方;澳洲拟展开管控“网络数据”行动[N];光明日报;2012年

2 刘其丕 李晓飞;环保型阻燃网络数据线缆在津推出[N];中国有色金属报;2005年

3 中国政法大学 朱巍;从苹果“后门”看网络数据侵权责任[N];北京日报;2014年

4 记者 于扬;世纪互联为用户管起防火墙[N];中国计算机报;2001年

中国硕士学位论文全文数据库 前8条

1 杨小芳;网络数据的可视化研究与实现[D];北京邮电大学;2014年

2 许彦如;考虑偏好的网络数据可视化分析[D];华东师范大学;2012年

3 张成海;网络数据的交互可视分析[D];华东师范大学;2015年

4 韩路;网络数据的分析方法研究[D];西北大学;2015年

5 吕鹏飞;基于LINUX的网络数据抓取识别系统的设计与实现[D];青岛理工大学;2014年

6 陈明建;高速网络数据的存储及内容监控[D];福州大学;2006年

7 李鹏;高速网络数据的获取和还原[D];大连海事大学;2006年

8 李袖;电信3G网络数据分流的四川师范大学WLAN设计与实现[D];电子科技大学;2013年

，

本文编号：1012511