大数据系统性能优化机制的研究与应用

发布时间：2019-12-01 17:51

【摘要】：随着互联网、传感器等技术的迅速发展,数据产生的速度越来越快。伴随着数据的爆炸式增长,人们步入了大数据时代。在大数据时代,面对海量数据,人们需要通过各种手段和工具对数据进行快速的挖掘分析,以发现其中蕴藏的巨大价值。但是随着大数据系统中需要存储和处理的数据量的不断增加,系统的某些性能问题日益突出,导致系统处理速度下降,不能及时的返回处理结果。严重时,甚至导致系统不能提供服务。为了提升系统性能,需要根据大数据系统的架构层次,从多个方面进行优化。大数据系统性能优化是一个非常复杂的工作,涵盖了系统的许多方面,因此,在系统的优化过程中需要考虑到影响系统性能的所有因素。本文在研究大数据系统架构以及相关技术的基础上,从系统开发应用的实际情况出发,针对大数据系统的从以下四个方面阐述系统性能的优化机制:数据收集优化,数据处理优化,数据库优化,WEB服务器优化。这四个方面涉及到了大数据系统架构中的多个层次的优化。论文针对某影视大数据系统存在的性能问题,详细的说明了其具体的优化过程和技术细节,为大数据系统优化提供一个可参考的方法,并使用测试工具对优化后的系统性能进行测试。
【图文】：

数据可视化,相关概念,关键技术

第二章相关概念及关键技术第二章相关概念及关键技术逡逑数据系统体系架构逡逑据系统为了能够处理多种类型的数据，适应数据增长的速度以及复，其内部结构复杂，涉及了许多与数据分析，数据存储和数据呈现。目前大数据系统一般使用多层应用模型，应用逻辑按功能划分为块，典型的大数据系统架构如下图２－１：逡逑

服务器,架构,客户端,数据库

定数据的失效时间，默认是永久。为了有效的减少ＣＰＵ开销，Ｍｅｍｃａｃｈｅｄ不会逡逑实时监控数据是否过期，，而是在需要的时候，才会查看数据的时间戳。逡逑使用Ｍｅｍｃａｃｈｅｄ构建数据缓存服务器的在系统中的作用如下图２－４：逡逑逦逦逦＾逡逑数据库ｉ邋数据库ｊ逡逑数据？：邋ｉ数据库逡逑＾逦应用程序逡逑７＝Ｔ逦」逡逑Ｍｅｍｃａｃｈｅｄ逡逑－－－－－逦Ｊ邋：；摩！ｚ逡逑Ｍｅｍｃａｃｈｅｄ逡逑图２－４邋Ｍｅｍｃａｃｈｅｄ在系统中的作用逡逑Ｍｅｍｃａｃｈｅｄ使用的是客户端／服务器架构，服务器启动后开始监听网络。应逡逑用程序获取数据时首先访问Ｍｅｍｃａｃｈｅｄ服务器，如果Ｍｅｍｃａｃｈｅｄ内存中含有需逡逑要的数据，就直接将数据返回，无需查询数据库。如果没有，应用程序接下来访逡逑问数据库。从数据库中获得需要的数据后，如果该数据需要进行缓存，应用程序逡逑在将数据发送到Ｍｅｍｃａｃｈｅｄ服务器中。逡逑Ｍｅｍｃａｃｈｅｄ支持分布式的功能，因此我们可以在系统中部署多台Ｍｅｍｃａｃｈｅｄ逡逑９逡逑
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13

【参考文献】