探索性数据可视化分析系统的设计与实现

发布时间：2017-12-30 05:15

  本文关键词：探索性数据可视化分析系统的设计与实现　出处：《西南交通大学》2017年硕士论文　论文类型：学位论文

  更多相关文章： 数据可视化 大数据 Spark Heatmap GeoHash

【摘要】：随着信息技术的不断发展,人们在日常生活中接触到的数据正在以惊人的速度增长,数据已经成为人们生活中的重要组成部分,如何对海量数据进行有效的分析和处理已经成为当下的研究热点。数据可视化技术通过将数据映射为图形、符号和颜色等,能够直观展示数据内部隐含的信息,为人们对数据做进一步分析和处理提供了参考思路,是大数据分析不可或缺的重要手段和工具。可视化方法可以大致分为两类:探索性可视化与解释性可视化。前者的目标是在数据处理初期阶段,借助可视化图表帮助人们在杂乱的数据中发掘数据的内在联系;后者是在视觉呈现阶段,将已知的信息或知识以可视的方式传递给公众。针对海量未经加工的原始数据,提供一个能够对其进行数据转化与可视化分析的平台十分必要。结合这一背景,本文面向普通用户设计并构建了一个支持数据接入、数据管理、数据转换、数据可视化等完整功能的通用探索性数据可视分析系统。本文的主要工作包括以下几点:(1)对数据可视化流程、可视化编码技术、Spark相关技术进行概述,为系统的设计提供理论基础。(2)从需求分析入手,提炼了系统的主要功能。在此基础上对系统划分为项目管理、数据集服务、数据集转换、数据可视化、用户操作五个模块。(3)基于B/S模式对系统进行架构设计,选用Play! Framework2作为Web服务框架。采用MVC的思想将系统划分为展现层、控制层、业务逻辑层、数据访问层、数据层、加速层,并对各层中使用的工具进行简要介绍。考虑到对于海量数据的处理需求,加速层引入分布式计算框架Spark作为数据转换、数据查询的引擎;数据层使用分布式文件系统HDFS存储数据集文件。(4)设计各模块业务流程,实现模块功能。以活动图阐述模块功能的工作流程,以时序图的形式展现模块的运行逻辑与对象关系。(5)对系统进行功能测试以及关键功能的性能分析,针对目前系统中热力地图在大数据集下绘制能力的不足,提出了一个结合GeoHash算法的优化方案,并对方案进行验证分析。优化方案在一定程度上减轻了前端热力地图绘制的压力,并具有良好的绘制效果。
[Abstract]:......
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.52

【相似文献】

相关期刊论文 前10条

1 姚远;;数据可视化技术实现流程探讨[J];软件导刊;2010年05期

2 赵巾帼;罗庆云;;基于网络的数据可视化研究与实现[J];大庆师范学院学报;2010年06期

3 任思雨;;数字时代数据可视化的类型及其特征[J];传播与版权;2014年03期

4 陈建军,于志强,朱昀;数据可视化技术及其应用[J];红外与激光工程;2001年05期

5 刘勘,周晓峥,周洞汝;数据可视化的研究与发展[J];计算机工程;2002年08期

6 刘绪崇,邓苏,杨强,陈卫东;基于数据管技术的证券数据可视化[J];计算机工程与设计;2003年06期

7 肖湘萍,尹志喜;数据可视化在流场数值模拟中的应用研究[J];华北工学院学报;2004年02期

8 任永功;于戈;;数据可视化技术的研究与进展[J];计算机科学;2004年12期

9 韩丽娜;;数据可视化技术及其应用展望[J];煤矿现代化;2005年06期

10 丁毅;王媛媛;纪亮;任柯燕;;数据可视化技术在客流展示中的应用研究[J];计算机与信息技术;2006年10期

相关会议论文 前10条

1 刘勘;周洞汝;;大型数据库中的数据可视化技术[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

2 袁永菊;;数据可视化技术在飞机改装中的应用研究[A];探索 创新 交流（第4集）——第四届中国航空学会青年科技论坛文集[C];2010年

3 石昊苏;韩丽娜;;数据可视化技术及其应用展望[A];全国自动化新技术学术交流会会议论文集（一）[C];2005年

4 夏菁;刘真;胡越琦;陈为;彭帝超;;基于超图的骨生物数据可视化研究[A];第五届全国几何设计与计算学术会议论文集[C];2011年

5 陈进生;罗月童;;轮廓树及其在体数据可视化中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

6 罗雄飞;廖再飞;刘伟;;流程工业多尺度数据可视化系统的设计与应用[A];2009中国过程系统工程年会暨中国mes年会论文集[C];2009年

7 谢跟踪;陈文惠;郑达贤;;基于Map Info的福建省经济数据可视化研究[A];地图学与GIS学术讨论会论文集[C];2002年

8 王延红;王宏亮;林成地;高菲;;基于VisIt的Fluent程序结果数据可视化[A];第十六届全国流体力学数值方法研讨会2013论文集[C];2013年

9 宋秀红;张维石;;基于RAD的网站用户浏览数据可视化工具研究[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

10 周杨;徐青;蓝朝桢;李建胜;;深空探测地理数据可视化[A];第十四届全国图象图形学学术会议论文集[C];2008年

相关重要报纸文章 前4条

1 国家统计局教育中心 宁红;数据可视化对服务型统计建设的启示[N];中国信息报;2013年

2 北京永洪商智科技有限公司 何春涛;一周实现大数据可视化分析[N];中国计算机报;2014年

3 本报记者 于杰;让POI数据可视化[N];中国计算机报;2014年

4 邱燕娜;从汶川地震话位置智能[N];中国计算机报;2008年

相关博士学位论文 前7条

1 任永功;面向聚类的数据可视化方法及相关技术研究[D];东北大学;2006年

2 马仁安;基于微机的三维地震数据可视化技术研究[D];南京理工大学;2004年

3 华岗;地震体数据可视化与分析研究[D];浙江大学;2011年

4 周璐;复杂向量场数据可视化技术研究与实现[D];中国人民解放军国防科学技术大学;2000年

5 梁秀霞;医学影像数据可视化中若干问题研究[D];山东大学;2006年

6 常凤香;基于生物电阻抗测量原理的经络诊断数据可视化方法研究[D];燕山大学;2012年

7 蒋志方;城市空气质量预测模型与数据可视化方法研究[D];山东大学;2011年

相关硕士学位论文 前10条

1 曾悠;大数据时代背景下的数据可视化概念研究[D];浙江大学;2014年

2 石雪萍;网易“数读”专栏报道特色研究[D];河北大学;2015年

3 陈欣;《21世纪经济报道—飞笛金融圈》金融新闻的数据可视化研究[D];河北大学;2015年

4 张健;基于WebGIS的农业地理数据可视化技术研究及应用[D];浙江大学;2015年

5 龚旭超;基于webGL的交互绘制应用研究[D];浙江大学;2015年

6 臧若蒙;面向车辆监控系统的海量数据可视化研究[D];大连海事大学;2015年

7 刘迪珊;试验数据云平台中数据可视化的设计与实现[D];西安电子科技大学;2014年

8 朱会国;直观高效的体数据可视化方法的设计与研究[D];合肥工业大学;2014年

9 吕佩吾;火电厂生产运行数据可视化平台的研究与实现[D];华北电力大学;2015年

10 戴启涛;面向终端的移动用户行为可视化分析[D];清华大学;2014年

，

本文编号：1353475