基于Flash混合存储的电子商务数据库性能优化研究

发布时间：2017-08-15 00:18

  本文关键词：基于Flash混合存储的电子商务数据库性能优化研究

  更多相关文章： 电子商务数据库 Flash数据库 混合存储系统 差异存储模型 数据库性能优化

【摘要】：当前电子商务的发展态势如火如荼,交易规模越来越大,导致了海量的电子商务数据,使得电子商务数据库的读写、更新和查询等性能提升变得越来越困难。当前主要的解决方案都已接近了数据库系统性能优化的极限。而Flash存储技术的发展为解决上述问题带来了新机遇,其超过磁盘100倍的I/O性能可以作为突破数据库性能优化瓶颈的方法。因此本文将从底层存储技术研究入手,兼顾上层软件算法来实现提升电子商务数据库在海量数据环境下的运行性能。 研究发现,Flash芯片的顺序读写和随机读取速度都远快于磁盘,但是随机写入和更新性能不足,且芯片价格较高。因此本文提出采用Flash和磁盘混合存储系统,既可以综合利用两者各自的优势,又可以兼顾设备价格成本。但是基于混合存储系统的数据库部署方案目前尚无系统的研究。本文探索了基于混合存储系统的电子商务数据库性能优化,研究成果丰富了现有电子商务数据库的研究内容,对电子商务企业的发展具有重要的现实指导意义。 本论文的研究内容主要有： (1)基于混合存储系统的差异存储模型的构建。从适合电子商务企业应用的角度出发,在数据库表和属性两个层面上构建了差异存储模型,并设计了判断表和属性数据读写敏感性和冷热性的阈值算法,实现了表及属性数据的读写敏感性和冷热性分析以及迁移存储方案。 (2)基于混合存储系统的差异存储模型的查询性能优化研究。消费者使用电子商务平台时需要进行大量的数据库查询操作,因而确保并提高电子商务数据库的查询性能对于保证电子商务企业运营质量至关重要。本文首先设计研究了HS-Join算法用于提高存储于不同存储介质的、以表为单位的多表连接查询性能；其次设计研究了PHS-Join算法,在Flash设备上提取主键列和连接列建立连接子表并基于子表重构整体连接表。实验表明了两种算法能够明显提高电子商务数据库的查询性能。 (3)基于混合存储系统的差异存储模型的事务处理性能优化研究。电子商务数据库的事务处理性能是电子商务企业提高响应能力,维护更多消费者人数,并在同一时间内满足每位消费者个性化需求的重要技术基础。本文以Oracle数据库为例,首先分析了事务处理过程中大量的临时数据和日志数据的读写敏感性及冷热性,确定了将这两类文件迁移存储到Flash设备中。其次根据日志文件增长迅速的特点,提出了Dynamic Logging方法,当Flash空间不足时,日志记录可以实现分散存储。实验表明上述管理方法明显提高了电子商务数据库的事务并发性能。 (4)基于混合存储系统的差异存储模型的数据仓库性能优化研究。优化电子商务数据仓库的查询分析性能是电子商务企业更快速、更准确地作出商业决策的技术基础。本文首先提出了采用列存储方案,并提出了列迁移存储算法,提高了决策所需属性数据的查询效率。此外针对数据仓库中多属性关联分析时连接代价大的问题,提出了行列混合存储方法,通过提前固化减少了连接代价。最后提出了数据差异化压缩存储方案,既保障了数据的查询效率,又充分利用了磁盘的存储空间。 本论文的创新点和主要贡献有： (1)本文从电子商务企业角度考虑其经济可行和技术可行两个方面,提出了在电子商务数据库中采用混合存储系统,并从表和属性两个层面构建了差异存储模型。既有利于电子商务企业应用实现,又能满足用户对响应速度可感知的要求。 (2)本文提出了适合混合存储系统查询的HS-Join算法和PHS-Join算法,充分利用了Flash的随机读取优势,提高了电子商务数据库的查询性能；提出了数据库相关文件在混合存储系统中的部署方案,极大提高了数据库的事务处理性能,提升了电子商务企业的业务处理能力。 (3)本文为了实现电子商务数据仓库性能优化采用了行列混合存储技术,提出将高频率的连接列提前固化,提高了分析决策的速度和效率。此外在混合存储系统中采用数据差异化压缩存储方案,充分发挥了设备的存储效率,又确保了数据仓库的查询速度。
【关键词】：电子商务数据库 Flash数据库 混合存储系统 差异存储模型 数据库性能优化
【学位授予单位】：东华大学
【学位级别】：博士
【学位授予年份】：2013
【分类号】：TP311.13
【目录】：

• 摘要5-7
• Abstract7-10
• 目录10-13
• 第一章 绪论13-42
• 1.1 研究背景及问题提出13-21
• 1.1.1 电子商务服务与传统商务服务的差异13-14
• 1.1.2 电子商务企业面临的挑战14-16
• 1.1.3 存储技术发展给电子商务应用带来的机遇16-18
• 1.1.4 问题提出及研究意义18-21
• 1.2 研究现状及评述21-34
• 1.3 研究内容34-37
• 1.4 实验方法37-40
• 1.5 主要创新点40-41
• 1.6 全文内容结构安排41-42
• 第二章 电子商务混合存储系统的差异存储模型构建42-67
• 2.1 引言42-43
• 2.2 电子商务混合存储系统的结构及性能分析43-52
• 2.2.1 电子商务混合存储系统结构分析44-46
• 2.2.2 电子商务混合存储系统性能分析46-52
• 2.3 电子商务混合存储系统的差异存储模型构建52-60
• 2.3.1 DST差异存储模型的构建原理53-54
• 2.3.2 TDST差异存储模型构建54-57
• 2.3.3 ADST差异存储模型构建57-60
• 2.4 实验评价60-65
• 2.4.1 TDST模型的性能实验60-64
• 2.4.2 ADST模型的性能实验64-65
• 2.5 本章小结65-67
• 第三章 电子商务数据库查询性能优化67-80
• 3.1 引言67-68
• 3.2 相关研究68-69
• 3.3 电子商务混合存储系统的查询性能优化69-74
• 3.3.1 基于TDST模型的HS-Join算法69-71
• 3.3.2 基于TDST模型的PHS-Join算法71-73
• 3.3.3 HS-Join算法在ADST模型中的应用73-74
• 3.4 实验评价74-78
• 3.4.1 HS-Join查询算法性能实验74-75
• 3.4.2 PHS-Join查询算法性能实验75-78
• 3.5 本章小结78-80
• 第四章 电子商务数据库事务处理性能优化80-104
• 4.1 引言80-81
• 4.2 相关研究81-85
• 4.2.1 基于FTL的Flash事务恢复81-82
• 4.2.2 基于分离日志的事务恢复方法82-84
• 4.2.3 IBM DB2固态硬盘低延时存储方案策略84-85
• 4.3 基于DST的电子商务数据库部署方案研究85-96
• 4.3.1 基于TDST的OLTP系统结构86-87
• 4.3.2 基于TDST的临时表空间管理87-90
• 4.3.3 基于TDST的日志管理90-92
• 4.3.4 Dynamic Logging动态日志方法92-95
• 4.3.5 基于ADST的热数据管理95-96
• 4.4 实验评价96-102
• 4.4.1 基于TDST的临时表空间实验96-98
• 4.4.2 基于TDST的日志管理实验98-101
• 4.4.3 Dynamic Logging动态日志实验101-102
• 4.5 本章小结102-104
• 第五章 电子商务数据仓库性能优化104-129
• 5.1 引言104-105
• 5.2 相关研究105-107
• 5.3 列存储的电子商务数据仓库的性能优化研究107-119
• 5.3.1 基于ADST的列迁移存储算法108-110
• 5.3.2 基于ADST的行列混合存储方法110-114
• 5.3.3 基于ADST的差异压缩方法114-117
• 5.3.4 基于ADST的CS-SubJoin查询优化算法117-119
• 5.4 实验评价119-127
• 5.4.1 基于ADST的列迁移存储算法性能实验119-122
• 5.4.2 基于ADST的行列混合存储方法实验122-124
• 5.4.3 基于ADST的差异压缩方法实验124-125
• 5.4.4 基于ADST的CS-SubJoin算法性能实验125-127
• 5.5 本章小结127-129
• 第六章 结论与展望129-134
• 6.1 本文工作总结129-132
• 6.2 未来工作展望132-134
• 参考文献134-146
• 附录 基于TPC-C测试标准的事务执行程序146-155
• 读博期间参加的科研项目155-156
• 读博期间发表和录用的论文156-158
• 致谢158

【参考文献】

中国期刊全文数据库 前4条

1 郑文静;李明强;舒继武;;Flash存储技术[J];计算机研究与发展;2010年04期

2 于利胜;张延松;王珊;张倩;;基于行存储模型的模拟列存储策略研究[J];计算机研究与发展;2010年05期

3 姜久雷;王江静;;列存储模式下闪存数据库的查询优化算法[J];计算机工程;2010年24期

4 梁智超;周大;孟小峰;;Sub-Join:面向闪存数据库的查询优化算法[J];计算机科学与探索;2010年05期

中国博士学位论文全文数据库 前1条

1 向小岩;闪存数据库若干关键问题研究[D];中国科学技术大学;2009年

中国硕士学位论文全文数据库 前1条

1 郭海峰;银河麒麟操作系统上基于TPC-C的Oracle调优研究与实现[D];国防科学技术大学;2005年

，

本文编号：675425