基于Hadoop的微课程学习行为分析系统构建

发布时间：2024-03-18 20:52

　　概述Hadoop大数据平台框架,重点论述K均值(K-means)聚类算法,以某高校共享微课程平台为研究对象,基于Hadoop和聚类算法,设计一套学习行为分析系统(LBAS),提出LBAS的体系结构和核心技术框架,通过实验,证明LBAS及聚类算法的有效性,LBAS可以获取用户的学习行为特征,为平台针对用户的个性化服务提供数据支撑。

【文章页数】：4 页

【部分图文】：

图4MATLAB聚类

图4显示MATLAB聚类前的数据分布，以及运行聚类算法后的数据分布，完全符合系统设计要求，得到满意的聚类结果。在LBAS环境中测试，针对30万条日志，得出163个聚类，每个聚类对应一门微课程，进而可以分析出用户的学习特征，初步达到预期效果。5总结

图1Hadoop体系结构

1.1Hadoop体系结构Hadoop是一个开源的、采用JAVA实现的大数据框架，可以通过组织大量计算机集群，对海量数据进行分布式计算，被广泛使用在存储和处理大数据等应用场景中，十分适合应用于LBAS的日志处理[2]。Hadoop的核心成员包括分布式文件系统（HDFS）、Map....

图2LBAS层次化框架

图2展示了LBAS架构，划分为四层，分别为数据源层、数据处理解析层、数据管理层和数据应用层。数据源层是整个平台的日志文件，存放在各日志服务器中，主要包括用户使用平台观看微课视频记录、互动记录等日志，这些均由用户在线或客户端操作平台时产生，系统需要解析处理的非结构化或半结构化数据。

图3核心层技术框架

图2的层次化框架中的核心技术，即数据处理解析层，其日志数据格式包括JSON、网址URL等，采用Flume收集日志数据，、Kafka传输日志数据，MapReduce、SparkStreaming和Hive分别负责数据解析、实时计算和ETL,HBase和Hive用于数据存储，HDF....

本文编号：3931803