对多维数据存储技术的研究

发布时间：2020-10-11 17:28

　　在目前激烈的市场竞争中，企业要想在竞争中立于不败之地，决策者必须要做出快速、及时、准确的决策。这些决策的选择不再仅依据决策者的主观感觉和经验，更主要来源于对企业过去业务数据的分析，他们需要对这些数据进行不同角度的分析。根据对这些数据的分析结果，预测未来的商业趋势。若要有效、高效的分析历史数据，就必须对其进行合理的组织与存储。本文讨论了数据在磁盘中的存储以及组织结构，同时，为了提高查询分析的效率，还要为数据文件建立多种索引；要对多维数据仓库中的多维数据进行粒度的划分；对数据进行分割；对休眠数据进行处理等。粒度是数据仓库中数据单位的细化或综合程度的级别，越详细的数据粒度越小。粒度越大，查询效率越高，占用的存储空间少，但能完成的查询也就越少。数据分割是对数据仓库中的细节数据进行分割，通常的分割标准有：按时间分割、按地理位置分割等。数据量的大小是决定分割的主要因素。休眠数据管理是指对以后不用的数据从要进行查询分析的数据仓库中剔除。这样可以在查询时减少扫描的次数从而提高效率。这里介绍了两种方法可以存储多维数据，一种是以二维关系表的形式存储，一种是以多维数组的形式存储，分别对应ROLAP与MOLAP。关系表存储法也就是用维表和事实表存储多维数据。用维表记录多维数据中的维度，用事实表记录多维数据立方体各个维度的交点的度量值。由于在查询时要进行多个表之间的连接，因而响应时间比较长，但对于有大量空白数据的数据库来说，可以节约很多存储空间。多维数组存储法是直接处理存放在多维数组中的数据，这种数据已经反映了各种数据的组合，并且每个单元都可以直接访问，一般而言，查询速度比较快而且稳定。但在矩阵稀疏的情况下，会存在大量的数据空白点，从而造成大量的空间浪费。针对MOLAP中出现的空间浪费问题，我们要对其进行压缩存储。可以通过增加一个冗余的标志位的方法记录某种组合是否有实际可用的数据，在存储时只存储有数据的点，剔除空白点，达到压缩存储多维稀疏矩阵的目的。
【学位单位】：武汉理工大学
【学位级别】：硕士
【学位年份】：2006
【中图分类】：TP333
【文章目录】：
摘要
Abstract
第1章绪论
    1.1 OLTP到OLAP
    1.2 课题研究的目的和意义
    1.3 和本课题有关的国内外研究现状
    1.4 研究的目标及内容
第2章物理存储结构
    2.1 数据库的存储设备
        2.1.1 磁盘存储器
        2.1.2 磁盘容错技术
    2.2 文件和文件记录
    2.3 无序文件
    2.4 有序文件
    2.5 Hash文件
        2.5.1 简单Hash方法
        2.5.2 动态Hash方法
    2.6 索引文件
        2.6.1 主索引
        2.6.2 聚集索引
        2.6.3 辅助索引
        2.6.4 多级索引
    2.7 树索引结构
        2.7.1 B树索引结构
        2.7.2 B+树索引结构
    2.8 多维索引
        2.8.1 网格文件
        2.8.2 位图索引
第3章多维数据的组织与管理
    3.1 数据仓库的结构
    3.2 粒度和分割
        3.2.1 粒度的确定
        3.2.2 一个粒度划分的实例
        3.2.3 数据分割
    3.3 数据仓库中数据的管理
        3.3.1 休眠数据的管理
        3.3.2 脏数据的出现和管理
第4章多维数据的建模与分析
    4.1 概念模型
    4.2 逻辑模型设计
        4.2.1 分析主题域
        4.2.2 粒度层次的划分
        4.2.3 确定数据分割的策略
        4.2.4 关系模式定义
        4.2.5 定义记录系统
    4.3 物理模型设计
        4.3.1 确定数据的存储结构
        4.3.2 确定索引策略
        4.3.3 确定数据的存放位置
        4.3.4 确定存储分配
第5章多维数据存储的实现
    5.1 多维OLAP和关系OLAP
        5.1.1 数据存储
        5.1.2 MOLAP和ROLAP的比较
    5.2 用事实表与维度表存储多维数据
        5.2.1 星型模式
        5.2.2 雪花型结构
        5.2.3 层次信息和分类信息的位置
        5.2.4 非分析数据的分离
        5.2.5 建立索引
    5.3 用多维数据库存储多维数据
        5.3.1 采用增加冗余位法压缩多维数据的存储
        5.3.2 压缩存储后的性能分析
    5.4 存储的优化
        5.4.1 设立正确的块大小
        5.4.2 设置合理的块使用参数
    5.5 一些提高性能的技术
        5.5.1 数据分区
        5.5.2 并行查询
        5.5.3 汇总级别
        5.5.4 初始化参数
第6章总结
参考文献
致谢
发表论文

【参考文献】

相关期刊论文前10条

1 李慧,闻豪;基于数据仓库的OLAP技术的研究[J];电脑知识与技术;2005年02期

2 郭龙江,李建中;空间数据库的索引技术[J];黑龙江大学自然科学学报;2005年03期

3 饶元,冯博琴;数据仓库的存储优化设计[J];计算机工程与应用;2003年36期

4 蒋外文,熊东平,张肖霞;基于多维数据库的MOLAP存储及查询技术研究[J];计算机工程与应用;2005年24期

5 李盛恩,陆世潮;联机分析多维存储结构的研究[J];计算机应用与软件;2005年09期

6 冯建华,蒋旭东,周立柱;用于数据仓储的一种改进的多维存储结构[J];软件学报;2002年08期

7 康志钢,黄厚宽;MOLAP的数据存储设计与实现[J];铁路计算机应用;2004年03期

8 李睿,王加阳,李超良;多维数据模型的变粒度存储策略研究[J];微机发展;2003年10期

9 谭念龙;空间数据存储技术及其应用[J];微电子学与计算机;2002年01期

10 侯丛,马玉祥,刘彦明;数据存储结构与检索效率关系的研究——关于DNA数据存储结构与比对效率[J];现代计算机(专业版);2004年01期

相关硕士学位论文前1条

1 齐肇建;基于数据仓库的数据存储和数据组织的研究[D];重庆大学;2004年