面向互联网应用的存储引擎优化

发布时间：2019-07-16 20:03

【摘要】：本文先介绍了在互联网环境下传统关系数据库技术遇到的挑战,认真分析了互联网应用(特别是博客类社交应用)的具体特征：数据量巨大,有明显的数据热点；并发请求量巨大,但是访问模式读多写少,而且很多都是键值类型的查询(比如按主键查询就占了很大的比例)。然后介绍了在互联网应用特征下传统的关系数据库的瓶颈。接着分析了目前学术界和工业界对这个问题展开的研究,包括nosql技术,读写分离,分库分表和分布式数据库等。分析了这些方法的不足之处,然后引出了本论文要做的工作及意义。本论文依托作者实习中参与的一个mysql自主存储引擎的开发实践,重点介绍了针对互联网应用数据热点明显,读多写少,简单键值查询居多的特点,设计和实现的一个记录级的缓存,专门用于缓存热点记录。详细分析了设计思路,整体架构和主要流程等。行级缓存的设计使得自主存储引擎的性能成倍于mysql自身的innodb存储引擎。虽然由于行级缓存的存在,使得自主存储引擎的性能明显优于innodb,但是在性能测试中发现自主存储引擎在稳定性和磁盘IO方面还存在问题。主要表现在一方面引擎的事务吞吐和磁盘IO请求方面存在震荡和抖动的现象,另一方面磁盘IO请求碎片现象明显,IO合并不理想。为了解决这个问题,作者利用一个自主开发的真实模拟互联网社交类应用(博客)的性能基准测试工具来进行性能分析与优化。主要侧重于磁盘IO方面,包括调整写脏块的算法和策略以及异步IO优化等。经过优化后,在真实模拟互联网社交类应用(博客)的性能基准测试工具的测试下,自主引擎性能表现优异,事务吞吐优于innodb存储引擎5倍以上,而且性能表现平稳,没有明显的震荡。
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP311.132.3;TP333

【参考文献】