面向用户访问分析的物流公共服务平台日志处理系统的设计与实现

发布时间：2023-03-23 06:04

　　随着我国经济的不断发展,物流行业也增长迅猛,物流公共服务平台每天的访问量也在飞速增长。海量的访问日志数据看似杂乱无章,实则蕴藏着海量用户的各种行为习惯。平台通过对用户与网站交互过程深层次信息的挖掘,助力物流公共服务平台提供更好的服务、满足更深层的需求、留住更多的用户。因此本文具有为为平台提高物流企业效率、降低成本的实际意义。本文从用户访问日志入手,设计并实现了一套面向用户访问分析的物流公共服务平台日志处理系统,它涵盖了从日志收集、存储、分析到展示的过程。本文主要对以下几点进行了探索:(1)对文中涉及的技术进行了研究。对本文所涉及的访问日志、Flume和Hadoop等技术概念进行了研究。主要包括访问日志的作用及内容,Flume工具的架构原理和特点和Hadoop的相关技术。(2)对面向用户访问分析的物流公共服务平台日志处理系统的需求进行分析。针对当前平台无法存储和分析海量数据、数据利用率低等问题,结合用户访问日志的内容,得到解决相应问题的需求,对系统的功能提出了相应的需求指标。(3)完成面向用户访问分析的物流公共服务平台日志处理系统的设计和实现。系统将由采集存储、清洗过滤、分析挖掘和数据展...

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 研究现状
        1.2.1 物流公共服务平台现状
        1.2.2 Web日志研究现状
        1.2.3 分布式技术研究现状
    1.3 研究内容
    1.4 论文组织结构
    1.5 本章小结
第二章 相关概念和技术
    2.1 访问日志相关概念
    2.2 Flume相关概念
    2.3 Hadoop相关概念
        2.3.1 基本介绍
        2.3.2 HDFS
        2.3.3 MapReduce编程模型
        2.3.4 Hive
    2.4 本章小结
第三章 物流公共服务平台日志处理系统需求分析
    3.1 存在的问题分析
    3.2 物流公共服务平台需求分析
        3.2.1 平台的基础统计需求
        3.2.2 平台的深度分析需求
    3.3 日志分析系统功能需求
    3.4 系统工作流程
        3.4.1 系统启动流程
        3.4.2 日志分析流程
    3.5 本章小结
第四章 物流公共服务平台日志处理系统设计
    4.1 系统总体架构
    4.2 采集存储模块设计
        4.2.1 日志采集方式
        4.2.2 日志存储方式
    4.3 清洗过滤模块设计
        4.3.1 数据清洗的作用
        4.3.2 日志格式
        4.3.3 “脏数据”清洗
        4.3.4 用户识别
        4.3.5 会话识别
    4.4 分析挖掘模块设计
        4.4.1 基础统计分析的设计
        4.4.2 用户来源地识别的设计
        4.4.3 时间序列分析的设计
    4.5 数据展示模块设计
    4.6 本章小结
第五章 物流公共服务平台日志处理系统实现和测试
    5.1 采集存储模块实现
    5.2 清洗过滤模块实现
    5.3 分析挖掘模块实现
        5.3.1 基础指标的分析
        5.3.2 用户来源地识别的实现
        5.3.3 时间序列分析的实现
    5.4 数据展示模块实现
    5.5 系统测试与结果分析
        5.5.1 系统环境
        5.5.2 系统运行及功能测试
        5.5.3 分析结果应用
    5.6 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 工作展望
参考文献
致谢



本文编号：3768436