基于海量数据的快速查询技术研究

发布时间：2021-06-13 19:25

　　在渭南智慧城市大数据基础平台建设过程中,伴随着多个部门海量数据逐步的接入,数据体量成倍的增长。对于平台的快速查询性能要求不断增加。为了保障平台使用者的用户体验,保证查询的快速性与准确性,提出一种基于海量数据快速查询技术。 

【文章来源】：智能城市. 2019,5(04)

【文章页数】：2 页

【部分图文】：

数据量级对查询速度的测试10

除首位元素或者末位元素。最后，将多级融合的数据块发送给上级服务器。不断循环执行此过程，直到顶级对象服务器将融合后的查询结果返回到平台应用中。1.3实验测试借助于渭南市平台与数据量，针对目前现有的海量数据实现二分法快速查询与普通查询算法进行测试对比，进行了如下实验：（1）测试数据量级从512MB到1TB逐步上升时两种查询方式的速度比较，如图1所示。可以看出数据量级越大，二分法查询的速度越快。数据量图1数据量级对查询速度的测试（2）测试数据量级为1GB时数据返回结果条数与查询时间的变化，如图2所示。可以看出二分法在数据查询结果上升时也优于普通算法。目标查询数据条数/条图2数据查询目标条数对查询速度的测试2结语针对当前渭南智慧城市大数据基础平台的现状，在此提出了一种基于面向对象并行计算的海量数据快速查询技术——二分法查询，解决了平台的目前遇到的问题。但是还需要在后期的维护升级中针对现状进行优化，需要能在后期大数据技术的发展中寻求更好的解决方案。参考文献[1]窦凤云.基于Oracle数据库的海量空间信息系统的优化[D].天津：天津大学，2005.[2]张秉强.数据库优化技术在海量数据下的研究与应用[D].上海：同济大学，2006.作者简介：赵林斌，硕士，研究方向为智慧城市信息化建设。65432105.512.43普通查询二分法查询3.551.871.510.65512MB1GB512GB1TB1.410.8时间/s21.510.50普通查询二分法查询1.531.581.681.891.281.241.141.03102050100时间/s


本文编号：3228174