异构大数据存储方法研究

发布时间：2020-02-01 20:23

【摘要】：随着互联网Wleb2.0技术的发展,数据量呈爆炸式增长,数据存储亦面临巨大挑战。在当前的大数据环境下,传统关系数据库由于自身特性的限制,难以很好地满足数据存储提出的新的需求。因此,有必要对异构大数据环境下的数据存储方法进行研究,寻找满足特定需求的通用的数据存储方案,为大数据存储问题的解决提供参考和借鉴,具有重要的理论意义和实践价值。大数据的存储方案是由要实现的功能所决定,对于不同的需求,采用不同的存储模式。本文选取Web2.0应用的典型代表——微博系统进行研究,符合大数据环境下海量数据、实时性强、大量读写操作、高并发的特征,具有较为通用的意义,主要的研究内容包括以下几个方面：首先,针对大数据的产生及所带来的挑战,从技术的角度论述了非关系数据库的发展历程。从总体上对关系数据库和非关系数据库的特点进行了对比,详细分析了关系数据库的优缺点及在大数据环境下遇到的瓶颈,深入研究了非关系数据库的架构、理论、特征及存储模型,阐述了其相比于关系数据库所存在的优势。然后,从功能上和性能上对微博系统具体的存储要求进行了深入分析,采用非关系数据库中三种具有不同存储模型的数据库,包括Redis、HBase和MongoDB,结合各自的特点来研究微博系统相关存储功能的实现,提出了适合微博系统的数据存储方案,设计了数据存储结构,可以满足对实时性、扩展性、可靠性和并发性的要求。同时使用关系数据库进行设计,通过对比,从理论上证明了非关系数据库研究的合理性。最后,针对微博系统设计的存储结构,选取典型的测试场景,使用不同数据库平台,进行了一系列的验证测试。通过对测试结果的分析与比较,可以证明本文设计的数据存储方案是有效的,能够满足微博系统的存储需求,并为异构大数据环境下具有类似需求的数据存储问题提供解决思路。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【参考文献】