基于大规模社会调查的流数据关联规则分析

发布时间：2020-03-29 18:59

【摘要】：随着数据挖掘技术的广泛应用,数据存储和处理技术也得到迅速发展。将海量流数据中蕴藏的有价值信息提取出来,为社会创造价值,是非常值得研究的课题。流关联规则挖掘是在数据流基础上进行的关联规则挖掘,其研究重点在于建立概要数据,并及时更新算法模型,达到快速获取关联规则的目的。本文将流关联规则算法应用于大规模社会调查数据,构建家庭画像,对我国居民家庭耐用品消费问题进行关联建模。文中对数据流关联规则挖掘的相关理论知识进行了系统总结,分析了大数据背景下大规模社会调查研究所面临的挑战及流关联规则的应用。实现和应用了FP_stream算法,在大规模社会调查数据背景下,构建了“交通工具消费关联”和“消费人群与耐用品消费类型关联”两种场景,并根据分析结果对耐用品消费问题提出相关建议。
【图文】：

关联规则挖掘,研究现状

继数据流模型被提出之后，学者们又在 1999~2002 年间陆续提出了许多数据流处理技术和方法（如图 1-1），并在静态关联规则挖掘的思想基础上结合数据流模型数据流预处理技术，使得流关联规则挖掘算法在 2002 后得到了迅速的发展。这些算中，国外比较有代表性的有基于界标窗口的 Lossy _ counting算法、韩家炜[8]（美籍人）的基于滑动窗口的 FP_stream 算法、以及基于衰减窗口的 estDec 算法Lossy _ counting将抽样技术与窗口技术结合，在界标窗口上实现了对全局频繁模式挖掘要求、FP_stream 算法以FP_growth 为基础，在滑动窗口上实现了多时间粒度下存频繁模式，满足了时间敏感的查询需求、estDec将衰减因子引入窗口模型，在一程度上消除了历史挖掘结果对当前挖掘结果的影响。国内比较有代表性的研究如李微教授[9]提出的 MSW 算法、刘学军等人[10]的 FP-CDS 算法。这两种算法都借鉴FP_growth 的挖掘策略，并以此为基础做出的相应改进，因此都属于“类 FP_grow算法。总体来说，从 1993~2002 年经过近十年的发展，，数据流关联规则挖掘体系（下简称流关联挖掘）已经日趋成熟。但是，在其后续的发展中（2002~现在）仍存在一亟待解决的问题，如二次扫描、频繁模式的更新、剪枝策略等问题。

组织结构图,论文,组织结构

论文组织结构
【学位授予单位】：长春理工大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：C915

【参考文献】