数据库系统性能评测与质量管理

发布时间：2020-10-14 13:32

　　 数据库管理系统作为重要的基础软件,广泛应用于金融、通讯、电商等领域的关键应用中。近年来,互联网的快速发展催生了大量的新型应用,同时传统应用也在快速演变。在新应用的驱动下,数据库系统得到了快速的发展。本世纪初兴起了No SQL数据库,如今New SQL数据库扮演着越来越重要的角色,目前知名的数据库系统已超过300个。此外,伴随着新硬件的发展,数据库系统的设计有了更多的选择,系统架构也在不断地重构。持续涌现的新应用、快速迭代的新系统对数据库系统的性能评测与质量管理带来了新的挑战。一直以来,评测基准是衡量数据库系统性能的一把尺子,引导着数据库系统的发展方向。但评测基准是对一类应用负载的抽象,服务于通用性的性能评测。对于一个特定应用,尤其是一个新型应用,由于评测基准的负载与实际应用可能差异巨大,因此其评测结果或许不具有指导意义。传统的测试数据和测试负载生成技术,由于生成数据和生成负载的应用弱相关性,基于其得到的评测结果对于特定应用来说可能不具有参考价值。同时,对于数据库系统的质量管理来说,评测基准负载是相对有限的,而当前测试数据和测试负载的生成技术也无法实现大规模事务负载的自动化生成,因此数据库系统对于事务型负载,尤其是高压、高冲突的事务型负载,难以得到充分评测。针对上述数据库系统的性能评测和质量管理问题,本文实现了新型的面向应用的数据库性能评测技术和大规模事务负载的自动化评测技术。本文的主要贡献总结如下:1.面向分析型应用的数据库性能评测技术。本文设计并实现了Touchstone系统,以支持负载感知的测试数据库生成和查询实例化。在Touchstone系统中,提出了一种新型的查询实例化机制,基于属性值的数据分布,利用二分搜索和随机采样算法快速定位符合基数约束的查询参数值。为实现测试数据库的并行生成,该系统设计了新型数据结构约束链和连接信息表来解耦属性之间的关联关系。为降低内存消耗,该系统提出了一种高效的连接信息表压缩算法,在不影响生成数据质量的情况下保证了内存消耗的可控性。2.面向事务型应用的数据库性能评测技术。本文设计并实现了Lauca系统,以支持面向事务型应用的模拟负载生成。在Lauca系统中,首次给出了事务型模拟负载生成中需要关注的关键负载特征。Lauca提出了利用事务结构信息和参数依赖信息来定义事务逻辑,以刻画应用负载中潜在的业务逻辑。为捕获目标负载数据访问分布中的倾斜性、动态性和连续性,该系统相应提出了倾斜数据访问分布、动态数据访问分布和连续数据访问分布。最后,Lauca在架构设计上保证了对生产环境中数据隐私的保护。3.大规模事务负载生成与执行正确性验证技术。本文设计并实现了Thor系统,以支持大规模事务负载测试案例的生成与执行正确性的验证。为生成全面且可控的随机事务负载,Thor抽象了一组基础数据库操作,通过在指定空间随机组合,生成大规模事务负载。为实现高压、高冲突事务负载下数据库的正确性验证,该系统提出了基于事务执行历史的异象和异常检测算法以及读结果集正确性验证算法,高效实现了数据库隔离级别的正确性验证。此外,Thor的系统设计保证了在海量事务执行历史下验证过程的低内存消耗。综上所述,本文针对数据库系统性能评测与质量管理中存在的问题,设计并实现了Touchstone、Lauca和Thor三个系统。首先,为解决面向分析型应用的数据库性能评测问题,Touchstone系统实现了高效的查询实例化和完全并行的测试数据库生成;其次,为解决面向事务型应用的数据库性能评测问题,Lauca系统能够生成与实际应用负载高度相似的模拟事务负载;最后,为解决数据库系统针对事务型负载测试不充分的问题,Thor系统支持大规模事务负载的自动化生成,并可对高压、高冲突事务负载下数据库的隔离级别进行正确性验证。本文通过大量实验验证了各个系统的有效性。未来的工作包括:进一步完善三个系统的外围工具,并进行开源和推广使用,其中Touchstone和Lauca系统已被引入Ti DB的质量管理体系;构建海量的测试案例库以支持数据库系统的自动化评测。
【学位单位】：华东师范大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP311.13
【部分图文】：

图 1.1：研究背景与关键问题概览相对有限的，因此数据库系统对于事务型负载的测试是不充分的，尤其是针对高并发、高冲突的事务负载。事务负载的随机生成技术以及高压、高冲突事务负载下数据库系统的正确性验证是数据库质量管理体系的重要一环。

图 1.2：本文的组织结构，本章给出了查询实例化算法，并分别针对不同类型基数约束进行详细，本章提出了新型数据结构约束链和连接信息表来实现并行的测试数后，通过实验验证了 Touchstone 可以实现高效的查询实例化和完全

图 2.1：数据库开发过程中的测试流程图 2.1 展示了数据库开发过程中的测试流程。当功能模块开发完成后，我先需要对整个系统进行回归测试，以检测该模块的添加有无影响之前的系统。同时，我们针对提交的模块进行功能测试，并实现新增功能的全面覆盖。
【相似文献】

相关期刊论文 前10条

1 姚建华;徐雯丽;蒋舒仰;胡静;李佳;王宇飞;李靖靖;;第二讲 化学数据库系统的设计策略[J];上海化工;2019年04期

2 刘昶;吴玺;李永树;郭加伟;;城镇近郊区数字村庄数据库系统的设计与实现[J];测绘与空间地理信息;2018年03期

3 张子阳;吕晨曦;曾志高;;基于工程教育认证的数据库系统教学改革探讨[J];课程教育研究;2017年09期

4 李红飞;;对Access开发数据库系统的研究[J];课程教育研究;2017年36期

5 刘芳;彭程远;张超;邵节;刘微;;数据库系统在重点实验室知识管理中的应用[J];航天工业管理;2017年04期

6 唐恒武;;数据库系统的安全防护[J];金融电子化;2017年01期

7 李叶;;国产数据库系统在电力行业的前景分析[J];信息与电脑(理论版);2016年15期

8 陈智;梁娟;谢兵;陈云;;基于应用型人才培养模式的《大型数据库系统》课程改革探讨[J];考试周刊;2016年A0期

9 徐雷;;实训用ATS数据库系统规划设计研究[J];现代职业教育;2017年12期

10 周沛文;;数据库系统在信息管理中的应用[J];中国商贸;2013年05期

相关博士学位论文 前10条

1 李宇明;数据库系统性能评测与质量管理[D];华东师范大学;2019年

2 胡天磊;自治数据库系统的理论与方法研究[D];浙江大学;2006年

3 崔宾阁;安全数据库系统隐通道分析及相关技术研究[D];哈尔滨工程大学;2006年

4 相克俊;混合推理高速切削数据库系统的研究与开发[D];山东大学;2007年

5 解季萍;基于Web的稀土化合物数据库系统研究和开发[D];昆明理工大学;2007年

6 陈冲;超细群核数据库系统的开发及应用研究[D];中国科学技术大学;2014年

7 卢科;闪存数据库系统存储管理及可裁剪性研究[D];中国科学技术大学;2012年

8 于洋;肝癌中医临床信息数据库系统的构建及应用[D];第二军医大学;2009年

9 王立;分布式内存数据库系统的查询处理与优化[D];华东师范大学;2015年

10 陈建英;基于数字有机体数据库系统的搜索定位研究[D];电子科技大学;2011年

相关硕士学位论文 前10条

1 黄建伟;可扩展数据库系统数据完整性约束的实现与优化[D];华东师范大学;2019年

2 臧传龙;成分、组织对模具钢激光仿生熔凝处理的响应及数据库系统开发[D];吉林大学;2019年

3 尹晖;典型机床关键零部件切削磨削比能能效建模及其数据库系统研发[D];湖南科技大学;2018年

4 孙晓芳;一种基于内容关联密钥技术的数据库系统加密方法研究[D];华中科技大学;2017年

5 林恩华;基于云计算的财经信息数据库系统升级方案设计[D];福州大学;2017年

6 向强;整车动力经济性能数据库系统开发[D];湖北汽车工业学院;2018年

7 付杭;面向服务的网络切削数据库系统研究与实现[D];太原科技大学;2016年

8 宁淑华;CNKI全文数据库系统应用分析与改进策略[D];吉林大学;2008年

9 邢永刚;飞行器气动数据库系统的开发及应用[D];西北工业大学;2005年

10 SOMSACK SENGSOUK（宋赛）;琅勃拉邦省卫生部食品药品部门检查数据库系统[D];昆明理工大学;2013年

本文编号：2840729