QJoin：质量驱动的乱序数据流连接处理技术

发布时间：2021-05-22 05:33

　　数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术（QJoin）。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。 

【文章来源】：广西科学. 2020,27(03)

【文章页数】：10 页

【文章目录】：
0 引言
1 方法描述
    1.1 QJoin的设计思想
    1.2 对称连接方法
    1.3 乱序数据流连接结果质量
    1.4 基于用户质量的缓存自适应
        1.4.1 缓存自适应调整
        1.4.2 L周期用户质量期望
        1.4.3 L周期受缓存影响的质量QL(x,y)
    1.5 算法描述
2 结果与分析
    2.1 实验环境设置
    2.2 参数设置对内存开销的影响
    2.3 QJoin技术和MP-K-slack技术性能比较
        1）流元组平均处理时延比较
        2）平均内存开销比较
3 结论


【参考文献】：
期刊论文
[1]基于混合处理模型的乱序数据流分布式聚合查询处理技术[J]. 杨宁,许嘉,吕品,李陶深.  广西科学. 2019(04)
[2]基于EMD距离的数据流分布式相似性连接技术[J]. 许嘉,宋超,吕品,李陶深.  计算机学报. 2019(08)
[3]基于高速乱序流的Top-k连续查询算法[J]. 朱睿,王斌,杨晓春,王国仁.  计算机学报. 2018(08)
[4]物联网中具有时间持续性特征的乱序事件查询处理技术研究[J]. 周春姐,戴鹏飞,李洪波,张振兴.  计算机科学. 2016(05)



本文编号：3201078