Hadoop房产数据平台与数据仓库的协作研究

发布时间：2017-09-28 22:16

  本文关键词：Hadoop房产数据平台与数据仓库的协作研究

  更多相关文章： 云计算 Hadoop 数据传输 数据仓库

【摘要】：房产市场的持续过热导致了当前供大于求的房产库存过剩,“去库存”也就成为解决当前经济发展问题的一大任务。建立大的数据综合平台,共享人口、土地、银行、交易等与房产相关的数据,并通过数据的分析挖掘,可提供政府职能部门决策依据,也有助于房地产公司制定销售策略、规划新建项目,实现“去库存”的目标。Hadoop大数据平台能够低成本地存储包括各类结构化、半结构化和非结构化海量数据,并拥有强大的数据处理能力,是建立房产信息综合平台的理想选择。将各类分布式存储的、与房产相关的数据归聚,并实现高效数据传输和转换,将有利于房产数据仓库的建立,而数据仓库的挖掘、分析技术,则是获取决策和规划策略的良好手段。本文在介绍云计算技术的基础上,着重分析了Hadoop大数据平台的技术框架和优势。根据房产信息综合平台搭建的需求,以及Hadoop大数据平台和数据库间数据的传输要求,模拟搭建了相关平台。运用Sqoop数据传输技术,设计并实现了Hadoop大数据平台和数据库间数据传输。最后,对Hadoop大数据平台和数据库间数据传输的部分结果进行了展示和分析。
【关键词】：云计算 Hadoop 数据传输 数据仓库
【学位授予单位】：云南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-13
• 1.1 研究背景7-8
• 1.2 选题意义8-9
• 1.3 研究现状和目标9-11
• 1.4 本文组织结构11-13
• 第二章 云计算与数据传输技术13-28
• 2.1 云计算技术13-17
• 2.1.1 云计算概念13
• 2.1.2 云计算特点13-15
• 2.1.3 云计算的服务模式15-16
• 2.1.4 云计算的关键技术16-17
• 2.2 Hadoop技术17-22
• 2.2.1 Hadoop简介17-18
• 2.2.2 Hadoop技术框架18-20
• 2.2.3 Hadoop生态圈20-21
• 2.2.4 Hadoop优势21-22
• 2.3 数据传输22-25
• 2.3.1 数据传输特点22-23
• 2.3.2 数据传输研究现状23-25
• 2.4 数据仓库25-27
• 2.4.1 数据仓库建模25-26
• 2.4.2 数据仓库应用26-27
• 2.5 小结27-28
• 第三章 Hadoop大数据平台与数据仓库结合设计28-35
• 3.1 实现可行性28-29
• 3.1.1 技术可行性28
• 3.1.2 经济可行性28-29
• 3.2 设计方案29
• 3.3 结合系统设计29-34
• 3.3.1 设计的关键点30-31
• 3.3.2 Hadoop大数据平台设计31-33
• 3.3.3 数据传输层设计33-34
• 3.4 小结34-35
• 第四章 Hadoop大数据平台和数据仓库结合实现35-52
• 4.1 硬件、软件配置35
• 4.2 Hadoop大数据平台实现35-43
• 4.2.1 SSH免密码登陆实现35-37
• 4.2.2 Hadoop集群实现37-40
• 4.2.3 Hadoop开发环境实现40-41
• 4.2.4 Hadoop大数据平台测试41-43
• 4.3 数据传输层实现43-44
• 4.4 结果展示44-51
• 4.4.1 结合系统界面44-47
• 4.4.2 数据传输结果47-51
• 4.5 小结51-52
• 第五章 总结与展望52-54
• 5.1 总结52
• 5.2 展望52-54
• 参考文献54-57
• 致谢57

，

本文编号：938366