基于Spark的序列数据质量评价

发布时间：2018-11-05 10:52

【摘要】：随着序列数据在实际中的广泛应用,序列数据质量评价成为学术、工业等众多领域的热门研究问题。目前主流的序列数据质量评价方法是基于概率后缀树模型进行数据质量评价,然而这种方法难以实现对大规模数据的处理。为解决此问题,提出了基于Spark的序列数据质量评价算法STALK(sequential data quality evaluation with Spark),并且采用了改进的剪枝策略来提高算法效率。具体地,在Spark平台下,利用大规模序列数据高效建立生成模型,并根据生成模型对查询序列的数据质量进行快速评价。最后通过真实序列数据集验证了STALK算法的有效性、执行效率和可扩展性。
[Abstract]:With the wide application of sequence data in practice, the evaluation of sequence data quality has become a hot research issue in many fields, such as academia, industry and so on. At present, the main methods for evaluating the quality of sequential data are based on the probabilistic suffix tree model. However, it is difficult to process large scale data by this method. To solve this problem, a sequence data quality evaluation algorithm (STALK (sequential data quality evaluation with Spark),) based on Spark is proposed and an improved pruning strategy is adopted to improve the efficiency of the algorithm. Specifically, based on the Spark platform, the generation model is established efficiently by using large-scale sequence data, and the data quality of query sequence is evaluated quickly according to the generation model. Finally, the validity, execution efficiency and extensibility of STALK algorithm are verified by real sequence data sets.
【作者单位】： 四川大学计算机学院;四川大学华西公共卫生学院;南京邮电大学先进技术研究院;
【基金】：国家自然科学基金Nos.61572332,51507084 中国博士后科学基金Nos.2016T90850,2016M591890 中央高校基本科研业务费专项资金No.2016SCU04A22~~
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 石柱,何新贵;优序法在软件质量评价中的应用[J];计算机工程与设计;2002年02期

2 吴立德,吴霭成;软件质量评价国外发展概况综述[J];计算机工程;1985年05期

3 周津慧,王宗,杨宗奎,刘霞;基于模糊评价方法的软件质量评价研究[J];系统工程与电子技术;2004年07期

4 文峰;;数据组织过程中的数据质量评价研究[J];软件导刊;2013年11期

5 肖鸿民;软件质量评价的一种定量化方法[J];西北师范大学学报(自然科学版);2000年04期

6 刘畅;;管理软件质量评价模型研究[J];价值工程;2010年14期

7 张立红,石少俭;质量管理技术在软件评价中的应用[J];信息技术与信息化;2005年05期

8 张宁蓉;严立;陈亦望;;网络教学质量的模糊综合评价[J];计算机教育;2007年08期

9 尹平;基于ISO的软件质量评价分析[J];信息技术与标准化;2005年12期

10 关帅;孙雅囡;朱清浩;;一种潜艇作战软件质量评价的新方法[J];中国舰船研究;2008年05期

相关硕士学位论文 前8条

1 李欣奕;网络百科条目质量评价研究[D];国防科学技术大学;2014年

2 陈奂昊;移动互联网应用中间件测试及质量评价研究[D];华南理工大学;2015年

3 刘凯;电子商务环境下的E-Service质量评价研究[D];华中师范大学;2006年

4 李敏;动漫图片质量评价研究[D];厦门大学;2014年

5 宋涛;网上阅卷评卷员评卷质量评价分析体系及模型研究[D];河南大学;2010年

6 高亚欣;合成图像的质量评价[D];西安电子科技大学;2013年

7 龙剑锋;近红外人脸图像识别与质量评价[D];湖南大学;2012年

8 王富贵;基于序相关性的搜索结果质量评价[D];西华大学;2009年

，

本文编号：2311841