大数据流滞后相关性挖掘方法

发布时间：2020-10-21 13:33

　　 大数据流挖掘作为数据挖掘的一个重要分支,越来越成为人们关注的热点之一,尤其是随着网格计算,云计算,特别是大数据的出现,人们对大数据流的处理需求的迫切程度越来越高。本文主要介绍了大数据流挖掘中滞后相关性的概念和方法,介绍了传统数据流挖掘的相关知识与存在的问题,针对大数据流挖掘中滞后相关性研究工作包括以下两个方面:第一、本文提出了一种基于级数分层滑动窗口的数据流序列滞后相关性挖掘方法。该方法首先对序列按级数递增进行分层,在每层上计算滑动窗口的覆盖度g,之后再对每层的滑动窗口计算序列的参数值;最后根据各层滑动窗口的参数值,计算序列的滞后相关系数,以此来确定序列的滞后相关性,实验结果表明本文方法是有效的。第二、本文提出了一种基于布尔约减级数分层的数据流滞后相关性挖掘方法。该方法根据原数据流两段序列的序列均值x、y,设立flag变量对原数据流序列元素进行标记,对大数据流序列进行宏布尔变换,根据阈值?剔除元素,并由flag对剩余元素进行还原;其次,根据采样周期T及得到的宏布尔序列值进行微布尔变换,剔除序列元素后还原。对还原后的微布尔序列按级数递增进行分层,在每层上根据滑动窗口的宽度g和每次滑动窗口数目c,计算每层序列的参数值;最后根据参数值,计算滞后相关系数,以此来确定序列的滞后相关性。实验结果表明,本文方法可以大幅度的减少运算时间,在保证精度的情况下提高运算效率。数据流的增长从某种意义上来说是无限量的,不同的阶段会有不同的挑战,在未来的工作中,着重关注算法的适用性及稳定性,并会对算法在数据约减方面的误差做进一步的研究。
【学位单位】：辽宁师范大学
【学位级别】：硕士
【学位年份】：2015
【中图分类】：TP311.13
【文章目录】：
摘要
Abstract
引言
1 绪论
    1.1 数据挖掘研究背景
    1.2 数据挖掘基础与应用
    1.3 问题的提出
    1.4 大数据流挖掘现存问题解决思路
    1.5 论文体系架构
2 大数据流挖掘相关理论与研究现状
    2.1 大数据流的特点及相关应用
        2.1.1 大数据流的特点
        2.1.2 大数据流的相关应用
    2.2 大数据流挖掘技术介绍
    2.3 时间序列模型
    2.4 时间序列分析
        2.4.1 滞后相关性查询技术
        2.4.2 数据约减技术
3 基于级数分层滑动窗口的大数据流滞后相关性挖掘方法
    3.1 问题描述
    3.2 模型建立
        3.2.1 预备知识
        3.2.2 相关系数的介绍
    3.3 几何探测的引入
    3.4 引入分层滑动窗口
    3.5 算法过程图解
    3.6 算法关键代码实现
        3.6.1 算法实现过程
        3.6.2 算法 1：层级参数求和的计算
        3.6.3 算法 2：层级参数求内积的计算
        3.6.4 算法 3：层级相关系数的计算
    3.7 实验与分析
    3.8 结束语
4 基于布尔约减级数分层的大数据流滞后相关性挖掘方法
    4.1 预备知识
    4.2 模型建立
        4.2.1 布尔约减算法的引入
        4.2.2 布尔约减具体过程
    4.3 级数分层算法的引入
        4.3.1 级数分层相关理论
        4.3.2 级数分层滑动窗口
        4.3.3 级数分层计算过程
    4.4 算法核心程序代码实现
        4.4.1 布尔约减算法实现
        4.4.2 级数分层算法实现
    4.5 实验与分析
        4.5.1 布尔约减后滞后相关性测试
        4.5.2 滞后相关性计算精度测试
        4.5.3 算法计算时间分析
    4.6 结束语
参考文献
攻读硕士学位期间发表学术论文情况
致谢

【相似文献】

相关期刊论文 前10条

1 侯太平,顾大权,王柏春,朱红伟;远程天气会商系统中的数据流处理[J];计算机工程;2003年03期

2 陈昕,宋瀚涛;基于数据流的近似查询计算及其应用研究[J];计算机应用研究;2003年11期

3 陈昕,陈维兴,苏锦祥;基于数据流模式的聚集快速查询计算研究[J];计算机集成制造系统;2004年06期

4 张冬冬,李建中,王伟平,郭龙江;分布式复式数据流的处理[J];计算机研究与发展;2004年10期

5 王金栋;周良;张磊;丁秋林;;一类数据流连续查询的降载策略研究[J];武汉大学学报(工学版);2005年06期

6 刘景春;;数据流分类关键技术研究[J];佳木斯大学学报(自然科学版);2007年01期

7 李琳;孙士兵;;数据流聚类方法发展研究[J];长沙民政职业技术学院学报;2008年04期

8 陈军;周明天;杨晓燕;;数据流系统降载研究综述[J];计算机应用研究;2008年10期

9 傅鹂;鲁先志;蔡斌;;一种基于数据流驱动的数据流连续查询模型[J];重庆工学院学报(自然科学版);2008年10期

10 David P.Misunas ,张启瑞;数据流处理机的性能分析[J];计算机工程与应用;1980年12期

相关博士学位论文 前10条

1 张丽;数据流上序敏感查询处理关键技术研究[D];国防科学技术大学;2013年

2 王超;时间序列数据流复杂模式挖掘研究[D];合肥工业大学;2015年

3 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年

4 孔英会;数据流技术及其在电力信息处理中的应用研究[D];华北电力大学（河北）;2009年

5 崇志宏;基于屏蔽/汇总技术的数据流处理算法[D];复旦大学;2006年

6 姚远;海量动态数据流分类方法研究[D];大连理工大学;2013年

7 曹振丽;面向养殖环境监测的数据流处理方法研究[D];中国农业大学;2015年

8 朱辉生;基于情节规则匹配的数据流预测研究[D];复旦大学;2011年

9 袁志坚;数据流突发检测若干关键技术研究[D];国防科学技术大学;2008年

10 王金栋;数据流系统中负载管理技术应用研究[D];南京航空航天大学;2006年

相关硕士学位论文 前10条

1 王川;面向位置服务的物联网数据质量保证方法研究[D];南京理工大学;2015年

2 祝然威;基于时间窗口的数据流频繁项挖掘算法[D];复旦大学;2014年

3 邱孝兵;基于GPU的数据流聚类及相关性分析[D];大连理工大学;2015年

4 张野;数据流查询语言中语法分析器的设计[D];电子科技大学;2015年

5 闫新院;基于概要模型的数据流聚合技术研究[D];西安电子科技大学;2014年

6 王涛;基于Ntrip协议的实时数据流软件的设计与实现[D];西安电子科技大学;2014年

7 陈彬;数据流实时存储关键技术[D];浙江工业大学;2015年

8 王高洋;基于网格和加速粒子群优化的数据流聚类算法研究[D];哈尔滨师范大学;2015年

9 钱海振;大数据流滞后相关性挖掘方法[D];辽宁师范大学;2015年

10 邹会文;数据流上的分类挖掘算法研究[D];大庆石油学院;2009年

本文编号：2850179