基于分布式方法的用户行为分析系统的设计与实现

发布时间：2023-10-02 05:19

　　信息在人们的生活中扮演着越来越重要的角色。海量数据分析在广告投放、科学决策等领域发挥了重要做用。如何从数据中发现有价值的信息已经成为人们普遍关注的问题。 近年来,我国信息化建设有了飞速的发展：骨干网和接入网带宽增加、用户规模不断扩大。这些情况对运营商的网络管理能力提出了挑战。网络流量监测技术是运营商分析网络状态、进行网络管理的有效手段。通过网络流量监测系统可以获得海量的网络用户行为数据。这些数据蕴含着网络流量变化规律和用户行为特征等有价值的信息。网络用户行为分析对提高运营商网的络管理水平和服务质量有很大意义。 当前,由于监测数据规模庞大、内容复杂等因素对网络监测数据的分析工作还有很多值得改进的地方。近年来分布式存储和计算发展得很快,逐渐成为海量数据处理的有效方法。本文将网络监测数据的格式特点、流量特点以及分析需求等因素与分布式的思想结合起来,提出了一个基于分布式方法的用户行为分析系统(User Behavior Analysis System, UBAS)。这个系统分为数据存储和查询分析两部分。存储子系统通过适当的数据转发规则实现了系统存储能力的提高和扩展性能的加强；它还通过文件分片和...

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 研究意义
    1.3 文章结构
第二章 宽带网络监测与分布式数据处理方法综述
    2.1 网络监测数据的产生过程
    2.2 网络监测数据的特点
    2.3 对网络监测数据的需求分析
        2.3.1 查询需求分析
        2.3.2 统计分析需求分析
    2.4 分布式数据的处理方法
        2.4.1 云计算
        2.4.2 网格计算
        2.4.3 分布式计算
第三章 UBAS系统设计
    3.1 UBAS逻辑结构
    3.2 通信规程
    3.3 并发查询处理
    3.4 系统查询接口定义
        3.4.1 查询字符串定义
        3.4.2 功能函数的实现逻辑
第四章 存储子系统的设计和实现
    4.1 数据转发子层的设计与实现
        4.1.1 按系统条件转发
        4.1.2 按话单内容转发
        4.1.3 数据转发子层的实现
    4.2 数据写入子层设计与实现
        4.2.1 文件路径映射
        4.2.2 hash划分子文件
        4.2.3 索引的建立和使用方法
        4.2.4 数据写入子层的实现
第五章 查询子系统的设计和实现
    5.1 总体结构和关键逻辑
        5.1.1 中缀字符串的解析
        5.1.2 分组统计与汇总
    5.2 调度层设计与实现
        5.2.1 查询状态控制
        5.2.2 调度层实现
    5.3 查询层设计与实现
        5.3.1 数据查询加速
        5.3.2 状态转移逻辑
        5.3.3 查询层实现
第六章 系统测试和性能分析
    6.1 测试环境与测试项目
    6.2 系统数据查询速度的测试
    6.3 在线用户数分析
第七章 总结和展望
参考文献
致谢
攻读学位期间发表的学术论文目录



本文编号：3850173