基于Hadoop的数据可视化技术研究与应用

发布时间：2017-10-18 14:21

  本文关键词：基于Hadoop的数据可视化技术研究与应用

  更多相关文章： 多数据库环境 数据可视化 数据集成 商业数据分析

【摘要】：本课题主要研究多数据库环境下商业数据可视化的问题,所有的业务数据存储在不同的数据库服务器上。由于多数据库环境在对平台整体数据进行可视化时,需要对各业务数据库服务器分别进行统计分析,再对统计结果进行合并,使得数据分析阶段效率较低。因此本文在研究过程中首先将分散的数据集成到数据仓库中,然后再针对数据仓库中的数据进行可视化数据展现。首先,通过对分散数据的集成方法的研究,确定了利用Hadoop技术进行分散数据集成。Hadoop生态系统提供的Hive工具可以用于多维数据分析,Sqoop工具可以实现关系型数据库与Hadoop之间的数据传输。研究中利用Hive技术搭建数据仓库,通过Sqoop技术将数据从分散的数据库服务器加载到Hive数据仓库中,完成可视化数据准备工作。其次,研究行业数据可视化的技术和方法,具体分析了商业数据的特点及数据展现形式。设计实现了基于SVG (Scalable Vector Graphics)的地图可视化算法,可以将可视化数据进行维度与数量的自定义配置,使得可视化的结果更加丰富且直观。然后,针对实际应用,从销售分析、商品分析、客户购物偏好、企业排名等分析视角出发,利用HQL语句对集成后的经营数据进行统计分析。通过对地图、云图、关联图等可视化技术的应用场景、绘制方法、数据表达方式及交互方式的研究,结合统计分析结果数据的存储特征,构建可视化数据模型。最后,结合实际项目,选用可视化控件Echarts和基于SVG的地图可视化算法对可视化数据模型进行展示,实现了针对商业数据分析的地图、字符云图、和弦图等可视化效果。验证了应用Hadoop技术和可视化控件实现商业数据可视化的技术路线的合理性。
【关键词】：多数据库环境 数据可视化 数据集成 商业数据分析
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要3-4
• Abstract4-10
• 第一章 绪论10-15
• 1.1 课题的背景及研究意义10-11
• 1.1.1 课题的背景10
• 1.1.2 课题的研究意义10-11
• 1.2 课题相关技术的国内外研究现状11-13
• 1.2.1 可视化技术国内外研究现状11-12
• 1.2.2 Hadoop技术国内外研究现状12-13
• 1.3 课题主要研究内容13-14
• 1.3.1 数据集成技术研究13
• 1.3.2 可视化理论与技术研究13
• 1.3.3 Hadoop与分布式数据处理技术研究13-14
• 1.4 论文组织结构14-15
• 第二章 相关理论与技术研究15-24
• 2.1 可视化相关技术研究15-18
• 2.1.1 可视化的定义15
• 2.1.2 可视化的基本流程15-16
• 2.1.3 可视化的主要布局方法16-18
• 2.1.4 可视化的主要技术18
• 2.2 客户端绘图技术研究18-20
• 2.2.1 可缩放矢量图形SVG18
• 2.2.2 HTML画布元素Canvas18-19
• 2.2.3 SVG和Canvas的对比19-20
• 2.3 当前主流的web前端可视化工具库20-21
• 2.4 Hadoop平台相关技术研究21-23
• 2.4.1 HDFS分布式文件系统21
• 2.4.2 MapReduce并行计算框架21
• 2.4.3 Hive数据仓库21-22
• 2.4.4 HBase数据库22
• 2.4.5 Sqoop数据迁移工具22-23
• 2.5 DBLINK数据库链接技术研究23
• 2.6 数据集成技术研究23
• 2.7 本章小结23-24
• 第三章 数据可视化方法分析与研究24-34
• 3.1 行业数据特征及其可视化呈现形式研究24-25
• 3.1.1 数据特征研究24
• 3.1.2 面向行业的数据可视化方式24-25
• 3.2 商业数据可视化研究25-27
• 3.2.1 商业数据的特点25-26
• 3.2.2 商业数据可视化的形式26-27
• 3.3 数据分析27-28
• 3.3.1 数据可视化需求分析27
• 3.3.2 可视化主题分析27-28
• 3.4 Map地图可视化算法研究28-33
• 3.4.1 Map可视化算法的基本思想28-29
• 3.4.2 基于SVG地图绘制算法的研究29-31
• 3.4.3 数据到颜色的映射31-32
• 3.4.4 交互事件处理32-33
• 3.5 本章小结33-34
• 第四章 基于Hadoop的数据可视化平台实现与应用34-50
• 4.1 数据可视化平台整体方案34-35
• 4.1.1 平台整体技术方案34-35
• 4.1.2 Hadoop数据预处理35
• 4.2 数据集成方案的设计与实现35-41
• 4.2.1 搭建Hive数据仓库35-36
• 4.2.2 数据加载36-39
• 4.2.3 数据转换39-41
• 4.3 数据分析与可视化的设计与实现41-45
• 4.3.1 数据分析主题的设计与实现41-43
• 4.3.2 模型数据存储结构设计与实现43-44
• 4.3.3 可视化数据模型设计与实现44-45
• 4.4 可视化图形绘制功能的实现45-47
• 4.4.1 Echarts的引入45-46
• 4.4.2 Echarts图形的绘制46-47
• 4.4.3 SVG地图的绘制47
• 4.5 可视化平台应用集成的实现47-49
• 4.6 本章小结49-50
• 第五章 实验结果分析50-56
• 5.1 实验环境50-52
• 5.1.1 硬件环境介绍50
• 5.1.2 软件环境介绍50-51
• 5.1.3 实验数据准备51-52
• 5.2 商业数据可视化结果展示52-55
• 5.2.1 销售信息可视化结果展示52
• 5.2.2 企业信息可视化结果展示52-53
• 5.2.3 商品信息可视化结果展示53-54
• 5.2.4 仓库信息的结果展示54-55
• 5.3 实验结果分析55-56
• 第六章 总结与展望56-58
• 6.1 总结56
• 6.2 展望56-58
• 参考文献58-61
• 在学期间的研究成果61-62
• 致谢62

【相似文献】

中国期刊全文数据库 前10条

1 姚远;;数据可视化技术实现流程探讨[J];软件导刊;2010年05期

2 赵巾帼;罗庆云;;基于网络的数据可视化研究与实现[J];大庆师范学院学报;2010年06期

3 任思雨;;数字时代数据可视化的类型及其特征[J];传播与版权;2014年03期

4 陈建军,于志强,朱昀;数据可视化技术及其应用[J];红外与激光工程;2001年05期

5 刘勘,周晓峥,周洞汝;数据可视化的研究与发展[J];计算机工程;2002年08期

6 刘绪崇,邓苏,杨强,陈卫东;基于数据管技术的证券数据可视化[J];计算机工程与设计;2003年06期

7 肖湘萍,尹志喜;数据可视化在流场数值模拟中的应用研究[J];华北工学院学报;2004年02期

8 任永功;于戈;;数据可视化技术的研究与进展[J];计算机科学;2004年12期

9 韩丽娜;;数据可视化技术及其应用展望[J];煤矿现代化;2005年06期

10 丁毅;王媛媛;纪亮;任柯燕;;数据可视化技术在客流展示中的应用研究[J];计算机与信息技术;2006年10期

中国重要会议论文全文数据库 前10条

1 刘勘;周洞汝;;大型数据库中的数据可视化技术[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

2 袁永菊;;数据可视化技术在飞机改装中的应用研究[A];探索 创新 交流（第4集）——第四届中国航空学会青年科技论坛文集[C];2010年

3 石昊苏;韩丽娜;;数据可视化技术及其应用展望[A];全国自动化新技术学术交流会会议论文集（一）[C];2005年

4 夏菁;刘真;胡越琦;陈为;彭帝超;;基于超图的骨生物数据可视化研究[A];第五届全国几何设计与计算学术会议论文集[C];2011年

5 陈进生;罗月童;;轮廓树及其在体数据可视化中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

6 罗雄飞;廖再飞;刘伟;;流程工业多尺度数据可视化系统的设计与应用[A];2009中国过程系统工程年会暨中国mes年会论文集[C];2009年

7 谢跟踪;陈文惠;郑达贤;;基于Map Info的福建省经济数据可视化研究[A];地图学与GIS学术讨论会论文集[C];2002年

8 王延红;王宏亮;林成地;高菲;;基于VisIt的Fluent程序结果数据可视化[A];第十六届全国流体力学数值方法研讨会2013论文集[C];2013年

9 宋秀红;张维石;;基于RAD的网站用户浏览数据可视化工具研究[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

10 周杨;徐青;蓝朝桢;李建胜;;深空探测地理数据可视化[A];第十四届全国图象图形学学术会议论文集[C];2008年

中国重要报纸全文数据库 前4条

1 国家统计局教育中心 宁红;数据可视化对服务型统计建设的启示[N];中国信息报;2013年

2 北京永洪商智科技有限公司 何春涛;一周实现大数据可视化分析[N];中国计算机报;2014年

3 本报记者 于杰;让POI数据可视化[N];中国计算机报;2014年

4 邱燕娜;从汶川地震话位置智能[N];中国计算机报;2008年

中国博士学位论文全文数据库 前7条

1 任永功;面向聚类的数据可视化方法及相关技术研究[D];东北大学;2006年

2 马仁安;基于微机的三维地震数据可视化技术研究[D];南京理工大学;2004年

3 华岗;地震体数据可视化与分析研究[D];浙江大学;2011年

4 周璐;复杂向量场数据可视化技术研究与实现[D];中国人民解放军国防科学技术大学;2000年

5 梁秀霞;医学影像数据可视化中若干问题研究[D];山东大学;2006年

6 常凤香;基于生物电阻抗测量原理的经络诊断数据可视化方法研究[D];燕山大学;2012年

7 蒋志方;城市空气质量预测模型与数据可视化方法研究[D];山东大学;2011年

中国硕士学位论文全文数据库 前10条

1 曾悠;大数据时代背景下的数据可视化概念研究[D];浙江大学;2014年

2 石雪萍;网易“数读”专栏报道特色研究[D];河北大学;2015年

3 陈欣;《21世纪经济报道—飞笛金融圈》金融新闻的数据可视化研究[D];河北大学;2015年

4 张健;基于WebGIS的农业地理数据可视化技术研究及应用[D];浙江大学;2015年

5 龚旭超;基于webGL的交互绘制应用研究[D];浙江大学;2015年

6 臧若蒙;面向车辆监控系统的海量数据可视化研究[D];大连海事大学;2015年

7 刘迪珊;试验数据云平台中数据可视化的设计与实现[D];西安电子科技大学;2014年

8 朱会国;直观高效的体数据可视化方法的设计与研究[D];合肥工业大学;2014年

9 吕佩吾;火电厂生产运行数据可视化平台的研究与实现[D];华北电力大学;2015年

10 戴启涛;面向终端的移动用户行为可视化分析[D];清华大学;2014年

，

本文编号：1055402