基于推送的用户拨测系统关键技术研究与数据分析

发布时间：2023-04-03 22:38

　　中国的移动互联网经历了从无到有、从慢到快、从人工到智能、从单一到多元的发展阶段,移动互联网正不断地在向人们的生活中注入新鲜的血液,日益成为人们追求美好生活的不竭动力。但是,网络每天的用户流量数据动辄达到数百TB甚至PB、ZB级别,这对数据的采集、存储及分析和应用都带来了巨大的挑战。此外,各大运营商、服务器提供商、企业等都希望从这些海量的用户数据中,利用一定的技术分析手段精准定位用户、分析用户需求。他们需要大量的用户拨测数据以便能快速而有效地获取网页中有价值的信息,如网络质量、网页结构等,这大大促进了用户拨测技术的发展,也对用户拨测技术以及数据的分析业务提出了新的挑战。本文首先阐述了用户拨测技术出现和发展的必然性,同时对当前基于拨测系统的研究现状进行了介绍。然后,本文对用户拨测系统总体原理框架以及本文所使用的相关技术进行了详细的介绍。同时,论文也对大数据背景下的拨测业务进行了研究。在本文研究过程中,主要使用HDFS、Spark等大数据技术进行数据的存储与分析。本文所研究的用户拨测系统是基于推送系统而设计的,从而提出了基于推送的用户拨测系统的设计方案。此外,本文对用户拨测系统相关的关键技术...

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 论文研究背景
    1.2 国内外研究现状及意义
    1.3 论文结构
第二章 用户拨测系统相关技术研究
    2.1 网络测量
        2.1.1 网络测量分类
        2.1.2 主动测量和被动测量
        2.1.3 网络测量系统架构
    2.2 用户拨测技术
        2.2.1 人工拨测技术
        2.2.2 自动拨测技术流程
    2.3 大数据背景下的拨测指标
        2.3.1 大数据环境下拨测思想概述
        2.3.2 大数据环境下用户分析
    2.4 大数据技术
        2.4.1 Hadoop分布式文件存储系统HDFS
        2.4.2 分布式计算架构Sprk
    2.5 本章小结
第三章 基于推送的用户拨测系统关键技术
    3.1 用户拨测系统架构
        3.1.1 用户拨测系统整体架构
        3.1.2 数据采集系统
        3.1.3 系统工作原理
    3.2 模块介绍
        3.2.1 推送系统
        3.2.2 策略模块(拨测模块)
        3.2.3 数据分析模块
    3.3 系统执行流程
    3.4 本章小结
第四章 网页的时延特征分析
    4.1 数据描述与预处理
    4.2 网页性能分析
        4.2.1 白屏时间
        4.2.2 可操作时延
        4.2.3 总时延
        4.2.4 总体分析
    4.3 基于网络的阶段分析
        4.3.1 网络阶段划分
        4.3.2 网络时延
        4.3.3 服务端时延
        4.3.4 前端呈现时延
        4.3.5 总体分析
    4.4 本章小结
第五章 网络质量分析
    5.1 网络质量分析指标
        5.1.1 时延类指标
        5.1.2 速率类指标
        5.1.3 完成性指标
    5.2 网络质量指标的选取及归一化
        5.2.1 指标相关性分析
        5.2.2 网络质量指标的选取
        5.2.3 质量指标的归一化
    5.3 网络质量综合评估模型
        5.3.1 权重确定
        5.3.2 综合评估模型
    5.4 本章小结
第六章 网页结构分析
    6.1 网页结构概述
    6.2 网页结构二部图
        6.2.1 网页二部图介绍
        6.2.2 构建网页依赖二部图
    6.3 网页结构分析
        6.3.1 网页的对象数和边数
        6.3.2 出度和入度
        6.3.3 网页的连接强度
        6.3.4 网页社区
        6.3.5 网页结构矩阵
    6.4 本章小结
第七章 总结与展望
参考文献
致谢



本文编号：3781276