大数据平台加速处理技术的研究与实现
发布时间：2022-01-02 03:58
大数据的主要处理流程可以划分为五个部分:数据的采集、数据的转发、数据的处理、数据的存储以及数据可视化。在这几个核心步骤中,以Flume、Kafka、Flink为代表的流式计算平台被业内大规模的使用,并应用到很多的生产环境中。尽管如此,不同的业务场景下这些相关的技术仍会存在各种各样的问题。本文以此为切入点,对Flume、Kafka、Flink进行针对性的优化。首先,针对Flume需要运行在客户端服务器上,占用服务器资源,并且与寄主服务器存在资源竞争关系的问题,本文设计了一种基于非JVM进程的消息收集系统。采用该系统替换传统的Flume,可以有效减少Flume占用的客户端服务器资源,并提高数据采集阶段的性能。其次,针对将Kafka迁移到SSD并不能充分发挥闪存的特性的问题,本文引入了一种基于新型闪存介质Open Channel SSDs的机制来替换Kafka原有的持久化机制。该机制采用键值分离的思想来解决LSM树（Log Structured Merge Tree）读写放大的问题,并将改进后的LSM树作为Kafka持久化的存储引擎。针对LSM和Kakfa消息读写的特点,本文提出了基于LSM...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【部分图文】：
LSM树
（1）通过 B+树实现，其优点是查询效率较高；缺点是 B+树会产生大量IO，主要存在以下两种情况：主键不是有序递增的，导致每次插入数据产数据迁移和空间碎片；即使主键是有序递增的，大量写请求的分布仍是随（2）基于 Hash 表实现，例如 Redis，其优点是在查询方面表现的效率比较是当出现大量 Hash 值碰撞的时候会导致性能的急剧下降[25];（3）基于 LSM 树实现，核心思想就是放弃部分读能力，换取写入的最大例如 levelDB，Hbase，优点是写入性能很高，缺点是容易造成严重的写放能表现不佳。.3 LSM 树的插入和压缩过程大体思路是：插入一条新纪录时，首先在日志文件中插入操作日志，以便使用，日志是以 append 形式插入，所以速度非常快；将新纪录的索引插中，这里在内存中完成，不涉及磁盘 IO 操作；当大小达到某一阈值时或者时间，将中记录滚动合并到磁盘 中；对于多个存储结构的情况，当 越大时就向 合并，以此类推，一直往上合并 。如图 2-19 所示：1C1C2CkC
LSM树持
【参考文献】：
期刊论文
[1]基于MRR调度的认知LTE-R基站和服务类型值优先队列管理[J]. 邓宏宇,汪一鸣,吴澄. 电信科学. 2018(06)
[2]基于负载感知的数据流动态负载均衡策略[J]. 李梓杨,于炯,卞琛,王跃飞,鲁亮. 计算机应用. 2017(10)
[3]一种基于裸闪存的Key-Value数据库优化方法[J]. 秦雄军,张佳程,陆游游,舒继武. 计算机研究与发展. 2017(06)
[4]基于STORM分布式计算的海量数据统计系统设计方法研究[J]. 陈波. 信息与电脑(理论版). 2017(04)
[5]基于动态优先级的数据中心网络闲时感知TCP协议[J]. 刘洪,伊鹏,胡宇翔. 计算机应用研究. 2018(01)
[6]Redis基于RDB+AOF的数据恢复策略研究[J]. 张文帅. 电脑知识与技术. 2016(14)
[7]一种云计算环境下大数据动态迁移策略[J]. 张晋芳,王清心,丁家满,刘彦君,黄心. 计算机工程. 2016(05)
[8]HDFS数据存放策略的研究与改进[J]. 罗鹏,龚勋. 计算机工程与设计. 2014(04)
[9]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民. 软件学报. 2014(04)
[10]基于Zabbix的分布式服务器监控应用研究[J]. 郭晓慧,李润知,张茜,王宗敏. 通信学报. 2013(S2)
硕士论文
[1]WEB集群系统负载均衡技术及其算法研究[D]. 崔韵鹏.大连理工大学 2017
[2]大数据流式处理系统负载均衡与容错机制的研究[D]. 段泽源.华北电力大学 2017
[3]基于量子计算的Hash碰撞安全性研究[D]. 杨婕.南京航空航天大学 2012
本文编号：3563426
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【部分图文】：
LSM树
（1）通过 B+树实现，其优点是查询效率较高；缺点是 B+树会产生大量IO，主要存在以下两种情况：主键不是有序递增的，导致每次插入数据产数据迁移和空间碎片；即使主键是有序递增的，大量写请求的分布仍是随（2）基于 Hash 表实现，例如 Redis，其优点是在查询方面表现的效率比较是当出现大量 Hash 值碰撞的时候会导致性能的急剧下降[25];（3）基于 LSM 树实现，核心思想就是放弃部分读能力，换取写入的最大例如 levelDB，Hbase，优点是写入性能很高，缺点是容易造成严重的写放能表现不佳。.3 LSM 树的插入和压缩过程大体思路是：插入一条新纪录时，首先在日志文件中插入操作日志，以便使用，日志是以 append 形式插入，所以速度非常快；将新纪录的索引插中，这里在内存中完成，不涉及磁盘 IO 操作；当大小达到某一阈值时或者时间，将中记录滚动合并到磁盘 中；对于多个存储结构的情况，当 越大时就向 合并，以此类推，一直往上合并 。如图 2-19 所示：1C1C2CkC
LSM树持
【参考文献】：
期刊论文
[1]基于MRR调度的认知LTE-R基站和服务类型值优先队列管理[J]. 邓宏宇,汪一鸣,吴澄. 电信科学. 2018(06)
[2]基于负载感知的数据流动态负载均衡策略[J]. 李梓杨,于炯,卞琛,王跃飞,鲁亮. 计算机应用. 2017(10)
[3]一种基于裸闪存的Key-Value数据库优化方法[J]. 秦雄军,张佳程,陆游游,舒继武. 计算机研究与发展. 2017(06)
[4]基于STORM分布式计算的海量数据统计系统设计方法研究[J]. 陈波. 信息与电脑(理论版). 2017(04)
[5]基于动态优先级的数据中心网络闲时感知TCP协议[J]. 刘洪,伊鹏,胡宇翔. 计算机应用研究. 2018(01)
[6]Redis基于RDB+AOF的数据恢复策略研究[J]. 张文帅. 电脑知识与技术. 2016(14)
[7]一种云计算环境下大数据动态迁移策略[J]. 张晋芳,王清心,丁家满,刘彦君,黄心. 计算机工程. 2016(05)
[8]HDFS数据存放策略的研究与改进[J]. 罗鹏,龚勋. 计算机工程与设计. 2014(04)
[9]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民. 软件学报. 2014(04)
[10]基于Zabbix的分布式服务器监控应用研究[J]. 郭晓慧,李润知,张茜,王宗敏. 通信学报. 2013(S2)
硕士论文
[1]WEB集群系统负载均衡技术及其算法研究[D]. 崔韵鹏.大连理工大学 2017
[2]大数据流式处理系统负载均衡与容错机制的研究[D]. 段泽源.华北电力大学 2017
[3]基于量子计算的Hash碰撞安全性研究[D]. 杨婕.南京航空航天大学 2012
本文编号：3563426
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3563426.html
