云环境下数据分布式缓存技术与应用

发布时间：2020-10-17 19:09

　　 随着经济社会的发展,医疗行业信息化成为近年来的研究热点。目前多数医疗信息系统在设计之初没有考虑云计算与大数据时代带来的海量数据存储需求,随着使用规模的不断扩大,这些系统无法承载高并发的访问流量。分布式缓存技术是目前非常热门且有应用前景的技术,具有传统存储技术无法比拟的优势。为了实现云环境下医疗数据的高效存储,本文基于分布式缓存技术设计并实现了放疗数据存储系统,构建了一种云环境下的数据缓存模型,主要存储放疗工作中产生的结构化数据与文件数据,提升了放疗质控系统在数据存取上的效率,提高了医院信息化的水平。通过分析国内外的相关文献,将分布式缓存技术应用于云文件存储以及云数据库存储,设计了基于分布式缓存的放疗数据存储系统。该系统在架构上分为四个层次,应用层、接口层、数据处理层和服务集成层。采用HDFS构建云文件存储服务、MySQL构建云数据库存储服务以及Redis构建分布式缓存服务。并且采用微服务的设计理念,基于SpringBoot框架完成了所有功能的编码。针对原生HDFS存储模型中的NameNode的单点问题,对比了现有的元数据管理方案,最后基于Redis分布式缓存设计了一种可扩展、高可用的元数据缓存模型。该方法构建了分布式缓存中间层,将元数据加载到Redis集群中进行管理,可以防止单一节点失效带来的服务中断。该模型作为基础设施为整个系统提供存储服务。对所设计的系统进行开发与测试,测试结果表明基于分布式缓存的放疗数据存储系统可以满足放疗科室所有的实际需求,该系统具有较高的工程价值,并且系统已在实际环境中上线运行,在实践中检验了系统的功能和性能,得到了相关医务工作者的认可。
【学位单位】：南京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP333
【部分图文】：

南京邮电大学专业学位硕士研究生学位论文 第四章 基于 Redis 的 HDFS 元数据缓存模型dir 为系统下所有目录的信息。path 为该目录的路径；replicas 为副本数量；mtime 为修改此目录的时间戳；atime 为访问此目录的时间戳；blockSize 为目录或文件的块大小，目录为 0；numBlocks 为实际的 block 数量；nsQuota 为 namespace 的 Quota 值，目录为-1；dsQuota 为 disk的 Quota 值，默认为-1；username 为目录的拥有者；group 为该用户所属的组；permission 为权限信息。file 为系统下所有文件的信息，包含所有 dir 的结构，在此基础上，增加 3 个属性。blockid为属于该文件的 block 的 id；numBytes 为该 block 的大小；genStamp 为该 block 的生成时间戳。该文件有多少个 block，file 信息中就对应多少组信息。通过 offline edits viewer 工具将 editlog 的二进制文件转化为易于阅读的 xml 文件，editlog文件的格式如图 4.3 所示：

元数据缓存写入伪代码

南京邮电大学专业学位硕士研究生学位论文 第四章 基于 Redis 的 HDFS 元数据缓存模型系以及 Block 块与 DataNode 服务器的映射关系。步骤 4：将查询来的结果以异步方式返回给客户端，并且将此结果存放进自己 Redis 服务器中，同时设置生存时间，防止该 NameNode 服务器负载过高。步骤 5：客户端下次向同一 NameNode 服务器访问相同的元数据信息时，如果该结果还在生存时间内，则可以直接查询到，否则从步骤 3 开始。
【相似文献】

相关期刊论文 前10条

1 杨烈君;吴玉芹;陈杨;;一种数据存储系统的研究[J];武汉工程大学学报;2016年06期

2 封俊;;移动图书馆的数据存储系统研究[J];太原学院学报(自然科学版);2016年04期

3 郑健;;基于模糊处理的医疗信息数据存储系统的设计[J];计算机测量与控制;2017年07期

4 ;索尼推出第二代海量光盘数据存储系统[J];广播与电视技术;2016年05期

5 吴洪成;金亮亮;;自主可控的数据存储系统开发[J];信息化建设;2015年07期

6 陈硕颖;郑敏信;齐铂金;杨清森;;用于电池管理系统的数据存储系统设计[J];单片机与嵌入式系统应用;2014年01期

7 杨波;;基于云计算的作战数据存储系统研究[J];现代电子技术;2013年19期

8 ;永久性数据存储系统寻求合作[J];电脑与电信;2009年02期

9 钟建平;;网络财务数据存储系统研究[J];科技创新导报;2008年06期

10 ;永久性数据存储系统寻求合作[J];电脑与电信;2008年10期

相关博士学位论文 前1条

1 陈海霞;计算机数据存储系统中读写头/盘间超薄气膜动力稳定性研究[D];华中科技大学;2004年

相关硕士学位论文 前10条

1 张凯风;通用高速数据存储系统设计及其数据管理技术[D];西安电子科技大学;2019年

2 李敏磊;云环境下数据分布式缓存技术与应用[D];南京邮电大学;2019年

3 崔晋皓;柴油机在线数据存储系统设计[D];北京理工大学;2017年

4 邹立民;基于Hadoop的分布式数据存储系统应用的研究[D];沈阳工业大学;2018年

5 任敏;基于FPGA的双通道机载数据存储系统设计[D];中北大学;2015年

6 黄丽华;江西电信公司运营数据存储系统的升级方案设计[D];南昌大学;2010年

7 周安;电信级分布式数据存储系统中路由机制的研究[D];北京邮电大学;2011年

8 洪俊望;面向大数据存储系统的分布式复杂任务树调度器的研究[D];华南理工大学;2016年

9 王欢;分体式模块化数据存储系统设计[D];中北大学;2015年

10 杨锐;新一代天气雷达数据存储系统设计与实现[D];北京邮电大学;2012年

本文编号：2845206