基于虚拟Hadoop的针对公交大数据架构的设计与实现

发布时间：2021-05-24 06:27

　　当前正处于一个信息爆炸的时代,海量的信息已经远远超过了人们所能接受的信息量,人们正经受着“信息过载”。大数据技术就是用来帮助人们从这冗杂的信息中整合和提取所需内容的技术。大数据是当前最热门的一个研究领域并且已经在渐渐地改变世界的商业模式。通过大数据技术,公司可以更加领会用户的消费行为以提供更专业的服务。在虚拟主机上部署大数据架构是当前大数据领域的热门研究方向。这个项目是针对公交大数据的一个实现。项目中的原始数据包括来自公交GPS装置的流数据,存储在关系型数据库中的历史数据以及一些系统外的在线服务产生的实时数据。这个项目的第一部分主要设计了一个可扩展的存储架构来存储这些不同来源的数据,并针对之后的数据分析合理的改变了当前的数据结构。项目的第二部分是设计一个合理的数据分析架构,以方便在这些海量的公交数据里面提取有用的信息。当前分析任务主要包括公交准点率分析和实时公交事故监控。公交准点率包括历史统计准点率,实时准点率,公交车准点率和站点准点率。实时公交事故监控包括检测当前道路是否存在交通拥塞,公交车本身是否存在异常行为。另外项目的最后部分就是将这些分析结果以一种优雅和易于理解的方式展示到网页... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 课题来源与背景
    1.2 课题意义
    1.3 国内外相关研究现状
        1.3.1 大数据
        1.3.2 大数据相关技术
        1.3.3 开发框架
        1.3.4 交通数据分析
    1.4 研究方法
    1.5 论文的主要内容和组织结构
        1.5.1 论文的主要内容
        1.5.2 论文的约束和限制
        1.5.3 论文的组织结构
第二章 CMT-BIGDATA系统需求分析
    2.1 用户需求
    2.2 系统功能需求
        2.2.1 CMT-BIGDATA存储需求
        2.2.2 CMT-BIGDATA分析需求
        2.2.3 CMT-BIGDATA可视化需求
    2.3 系统非功能需求
        2.3.1 性能需求
        2.3.2 数据一致性需求
        2.3.3 伦理需求
    2.4 小结
第三章 CMT-BIGDATA系统设计
    3.1 系统架构
        3.1.1 CMT项目架构
        3.1.2 CMT-BIGDATA项目架构
        3.1.3 CMT-BIGDATA项目功能结构
    3.2 HADOOP集群架构
    3.3 CMT-BDTRANSFER详细设计
        3.3.1 CMT-BDTransfer数据流程设计
        3.3.2 CMT-BDTransfer数据结构设计
        3.3.3 CMT-BDTransfer详细类图设计
    3.4 CMT-BDANALYSIS详细设计
        3.4.1 CMT-BDAnalysis准点率分析的设计
        3.4.2 CMT-BDAnalysis交通事故监测的设计
    3.5 CMT-BDVISUALIZE详细设计
        3.5.1 CMT-BDVisualize网站架构
        3.5.2 CMT-BDVisualize网页原型设计
        3.5.3 CMT-BDvisualize类图设计
    3.6 关键技术
    3.7 小结
第四章 系统实现与测试
    4.1 系统实现环境
        4.1.1 Hadoop集群环境
    4.2 系统实现
        4.2.1 CMT-BDTransfer系统实现
        4.2.2 CMT-BDAnalysis系统实现
        4.2.3 CMT-BDVisualize系统实现
    4.3 系统测试
        4.3.1 测试目的和测试环境
        4.3.2 系统功能测试
        4.3.3 Hadoop集群性能测试
        4.3.4 数据一致性测试
    4.4 小结
第五章 讨论
    5.1 论文结果讨论
    5.2 研究方法讨论
    5.3 未来的工作
结论
参考文献
致谢
个人简历



本文编号：3203717