基于Hadoop/hive架构的网络身份识别系统的设计与实现

发布时间：2023-11-12 12:27

　　随着人们对网络和通信的依赖日渐增长，维护网络信息的安全以及用户的合法权益日益重要。而网络的开放性、虚拟性和不确定性无疑给这项工作增加了一个不小的难题。网络身份的绑定成为必然。每个用户常见的网络、通讯行为有邮件通讯、微博发表、短信通讯以及电话通讯。每个用户在四个系统中分别对应一种身份，把四种身份绑定，确认用户的现实身份，使得网络社会和现实社会同样受到监督与保证，维持网络秩序。 由于数据源众多以及各个系统的用户繁多、操作频繁，每日产生TB级甚至PB级的海量数据，传统的关系数据库以及不能满足数据的存储分析处理的要求。本系统利用Hadoop/hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性，对用户的基础信息、特征行为等进行分析，在功能实现的基础上展现出数据处理很高的效率。 本文在实际系统开发的基础上，综述了一种基于Hadoop/hive架构的网络身份识别系统设计与实现的开发方案。将各个数据源的原始数据利用MapReduce进行层层清洗后，装载入一个新建的基于事件的数据仓库。随后，利用HiveQL语言，在专业工作流控制工具的控制下，根据用户要求完成数据的分析处理工作。最后，将数据分...

【文章页数】：56 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 主要研究内容
    1.4 论文组织结构
第二章 本文技术基础
    2.1 Hadoop
        2.1.1 Hadoop 技术背景
        2.1.2 HDFS（Hadoop Distributed File System）机制
        2.1.3 MapReduce
    2.2 Hive
        2.2.1 Hive
        2.2.2 Hive 和普通关系数据库的区别
        2.2.3 HiveQL
    2.3 相关算法及关联规则
    2.4 本章小结
第三章 网络身份识别系统的设计
    3.1 需求分析
        3.1.1 指标定义
        3.1.2 功能方法概述
    3.2 架构设计
        3.2.1 数据存储模块设计
        3.2.2 数据分析模块设计
        3.2.3 数据展现模块设计
    3.3 本章小结
第四章 网络身份识别系统的实现
    4.1 系统存储模块实现
        4.1.1 数据抽取
        4.1.2 数据仓库构建
    4.2 系统分析模块实现
        4.2.1 指标一：置信度计算的实现
        4.2.2 指标二：匹配度计算的实现
    4.3 系统数据展现模块实现
    4.4 系统调度
    4.5 本章小结
第五章 系统性能测试
    5.1 Hadoop/hive 环境配置
    5.2 系统运行结果分析
    5.3 本章小结
第六章 总结与展望
    6.1 本文小结
    6.2 工作展望
参考文献
致谢



本文编号：3863153