面向劳动者就业信息服务平台的分布式存储系统的设计和实现

发布时间：2017-05-24 08:00

  本文关键词：面向劳动者就业信息服务平台的分布式存储系统的设计和实现，，由笔耕文化传播整理发布。

【摘要】：随着信息技术的蓬勃发展,网络已经成为了重要的信息载体,大众对网络数据的需求越来越大,其中之一就是劳动者就业信息。当前劳动者就业分散的管理在各级地方政府部门,由于部门数据之间相互隔离和技术水平的限制,形成了很多信息孤岛,使得大量求职者与企业管理人员很难在短时间获取到自己需要的全面就业信息资源,一定程度造成了当前求职难、招工难等社会问题。为了促进全国就业服务与就业管理信息交流和数据共享,充分挖掘和利用就业数据信息,急需一个统一的劳动者就业数据数据存储系统,向社会公众提供高效、优质、规范、透明的就业服务。 本文对分布式存储相关技术以及相关经典分布式系统进行了调研和分析,结合就业信息的数据的特点和需求,设计并实现了劳动者就业信息的分布式存储系统。系统由三个子系统组成。存储子系统采用了开源分布式存储系统Cassandra负责劳动者就业数据的永久化存储。缓存子系统负责缓存热点的就业数据信息,并在多个地域进行部署,从而提升就业数据的访问效率和降低存储子系统的压力。调度子系统负责用户请求的接入、解析和转发,它有效的连接了存储子系统和缓存子系统。 论文的成果对于那些存储关系型数据、数据分散部署在多个地理位置的存储系统有一定启发作用。同时对于分布式缓存系统的设计、容灾以及缓存一致性的方面也能起到一定的借鉴作用。
【关键词】：分布式存储 分布式缓存 缓存的分配算法 缓存一致性
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-10
• 第一章 绪论10-16
• 1.1 论文研究背景10
• 1.2 分布式存储系统在国内外研究现状10-13
• 1.2.1 分布式数据存储11-13
• 1.2.2 分布式缓存13
• 1.3 本文主要研究内容13-14
• 1.4 本文组织结构14-15
• 1.5 本章小结15-16
• 第二章 分布式存储相关问题与典型系统研究16-23
• 2.1 分布式系统的异常16
• 2.2 分布式存储系统衡量指标16-18
• 2.3 分布式系统的限制18
• 2.4 典型分布式系统的介绍和分析18-22
• 2.4.1 Cassandra19-20
• 2.4.2 Memcached20-21
• 2.4.3 Zookeeper21-22
• 2.5 本章小结22-23
• 第三章 系统的分析与设计23-29
• 3.1 劳动者就业数据的特点分析23
• 3.2 系统的功能和设计目标23-24
• 3.3 系统的设计和架构24-26
• 3.4 分布式存储子系统的选择26-27
• 3.4.1 选择Cassandra的原因26-27
• 3.4.2 存储子系统的不足27
• 3.5 本章小结27-29
• 第四章 分布式缓存子系统的设计和实现29-49
• 4.1 系统的背景29
• 4.2 困难和挑战29
• 4.3 缓存系统的功能和设计29-32
• 4.3.1 功能接口与运行方式30-31
• 4.3.2 缓存的部署方式31-32
• 4.3.3 缓存架构32
• 4.4 缓冲池32-34
• 4.4.1 缓冲池的背景32-33
• 4.4.2 缓存池的划分33-34
• 4.5 缓存数据的分配算法34-39
• 4.5.1 哈希取模算法34-35
• 4.5.2 一致性哈希算法35-38
• 4.5.3 系统的分配算法实现38-39
• 4.6 缓存的一致性39-41
• 4.6.1 基于控制器的缓存同步40-41
• 4.6.2 基于外部同步器的方案41
• 4.7 缓存同步器的实现41-44
• 4.7.1 旁路缓存的一致性对同步系统的影响41-42
• 4.7.2 同步器的设计42-43
• 4.7.3 同步器的高可用43-44
• 4.8 容灾44-48
• 4.8.1 冗余池的写入44-45
• 4.8.2 冗余池的读取45-48
• 4.9 本章小结48-49
• 第五章 调度子系统的设计和实现49-57
• 5.1 背景需求49
• 5.2 困难和挑战49
• 5.3 调度系统的功能和设计49-51
• 5.4 控制器51-54
• 5.4.1 网络模块51-52
• 5.4.2 请求解析模块52-53
• 5.4.3 请求调度模块53-54
• 5.5 元数据管理子系统54-55
• 5.6 容灾55-56
• 5.6.1 控制器的容灾55-56
• 5.6.2 元数据管理子系统容灾56
• 5.7 本章小结56-57
• 第六章 系统的部署与验证57-70
• 6.1 系统的部署57-59
• 6.1.1 依赖的外部系统57
• 6.1.2 分布式存储系统Cassandra的部署57-58
• 6.1.3 分布式缓存子系统的部署58-59
• 6.1.4 调度子系统的部署59
• 6.2 系统压力测试59-69
• 6.2.1 测试环境59-60
• 6.2.2 测试流程60-61
• 6.2.3 测试结果61-69
• 6.3 本章小结69-70
• 第七章 结论与展望70-72
• 7.1 总结70-71
• 7.2 展望71-72
• 参考文献72-75
• 致谢75

【参考文献】

中国期刊全文数据库 前7条

1 王世克;吴集;金士尧;;Web缓存技术概述[J];计算机与信息技术;2005年06期

2 王珊;王会举;覃雄派;周p

本文编号：390145