面向校园大数据的行为数据挖掘与分析系统

发布时间：2023-03-05 19:42

　　随着科学技术日新月异发展,人类在生产生活中产生了无数的数据信息,数据从处理对象成为了一种基础性的资源。各高校积累了大量的学生行为数据,这些行为数据记录当中隐藏着大量有价值的信息,但我们很难凭借直观的感觉发现它,必须通过数据挖掘的方法将其表示出来,发现其中的有价值的信息,为高校资源的合理分配,校园的规划建设及师生的管理等工作提供有价值的参考。本文提出并实现了一个面向校园大数据的行为数据挖掘与分析系统。论文首先对现在高校的校园卡数据进行了分析和现在的相关技术的研究现状做了简要分析。然后,具体分析了数据挖掘中常用的Hadoop技术,具体介绍了FP-Growth算法的原理和流程。第三,基于sqoop技术设计了这种校园卡的用户数据仓库。最后对行为大数据进行了挖掘分析。主要包括:一、先统计分析确定出不同时间段食堂就餐人数,分析其变化情况,从而明确学校就餐高峰期相关的规律;二、通过统计部分学生的消费,使用决策树算法来建立学生贫困度模型,后通过剪枝手段优化,提升评估的准确率;三、统计学生经常去的商户,对相关数据进行挖掘分析,确定出学生和商户的关联规则,从而得到更方便于学生的方式。

【文章页数】：60 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景与意义
    1.2 研究目标与内容
        1.2.1 研究目标
        1.2.2 研究内容
    1.3 论文的总体结构
第2章 相关关键技术及算法综述
    2.1 Hadoop
        2.1.1 分布式文件系统HDFS
        2.1.2 分布式批处理框架MapReduce
        2.1.3 数据仓库工具Hive
        2.1.4 数据传递工具Sqoop
    2.2 关联规则挖掘算法
        2.2.1 关联规则概念
        2.2.2 Fp-Growth算法
    2.3 决策树分类算法
        2.3.1 决策树基本概念
        2.3.2 常见划分策略
        2.3.3 剪枝处理
第3章 系统总体架构及关键算法研究
    3.1 系统平台建设需求
    3.2 系统构建模型
    3.3 系统技术架构
    3.4 系统关键算法
        3.4.1 在校贫困学生挖掘方法
        3.4.2 学生就餐地点选择关联分析方法
第4章 行为数据数据仓库构建
    4.1 系统环境安装
    4.2 行为数据预处理
        4.2.1 消费流水数据筛选预处理
        4.2.2 学生用户信息数据预处理
        4.2.3 商户信息预处理
        4.2.4 行为数据仓库设计
    4.3 行为主题确定
        4.3.1 数据仓库概念设计
        4.3.2 数据仓库维度设计
        4.3.3 数据仓库表设计
第5章 校园卡数据挖掘与分析
    5.1 就餐人数统计
        5.1.1 每日就餐人数统计
        5.1.2 早中晚就餐高峰时间
        5.1.3 就餐地点统计
    5.2 在校贫困学生挖掘与分析
        5.2.1 统计各类消费数据
        5.2.2 数据选取
        5.2.3 决策树与分析
    5.3 学生就餐地点选择关联分析
        5.3.1 统计常去餐饮
        5.3.2 频繁模式挖掘
        5.3.3 关联规则分析
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢



本文编号：3756799