基于关系型数据库与NoSQL的海量医疗器械数据处理研究

发布时间：2020-03-21 17:19

【摘要】：在当今的大数据时代,电子商务、社交等各种网站每天都会产生海量的数据。而之前的数据存储、查询工作使用的都是关系型数据库,在面对海量的数据时,关系型数据库的表现却不尽人意。某医疗器械管理系统,系统设计之初使用关系型数据库存储数据。随着系统使用的时间增长,积累的数据量越来越大。由于关系型数据库难以通过对设备简单增加的方式进行扩展,其难以处理海量的数据。NoSQL数据库具备数据模型简单,可以很好地进行线性扩展等特点,其在处理大数据问题上有较大优势。因此,将二者的优势结合起来,以较小的代价应用在系统中,具有十分重要的意义。本文以医疗器械管理系统的业务为基础,结合关系型数据库和NoSQL的优点,提出将数据根据类型进行分库存储的系统架构。使用关系型数据库存储经销商相关的数据,用NoSQL存储医疗器械相关的数据。通过这样的设计,使得在解决海量的医疗器械的数据存储问题的同时,可以保证经销商数据的安全性与事务性不受影响。本文通过设计并实现了混合SQL查询系统,通过对于SQL语句的解析,优化等工作,将其按照不同的数据源分发到相应的系统中进行查询,根据查询数据获取到最终结果。在不改变系统结构的情况下,使得原来的系统可以支持关系型数据库与NoSQL相结合的系统架构。本文设计并实现了基于SSD的混合缓存架构,通过固态硬盘的使用,提高了 RowCache的命中率,提高了 Cassandra的读性能。本文设计的系统架构分为内存层和SSD层两个部分。并通过热数据选取算法,将数据根据热度存储在不同区域,并根据相应的数据转移机制进行转移,发挥内存和固态硬盘各自的优势。整个系统是在Cassandra提供的缓存接口的基础上设计并实现的,并不会对Cassandra的正常使用产生影响。经测试,系统运行情况良好,相比于原来的系统,性能有所提升。
【图文】：

抽象层,基本结构,分布问题

为解决关系型数据库的扩展以及跨数据中心的分布问题提出了良好的解决方逡逑案。国内的ＰｉｎｇＣＡＰ团队在此基础上，参考了邋Ｇｏｏｇｌｅ邋Ｓｐａｎｎｅｒ／Ｆｌ的架构设计，逡逑使用Ｇｏ语言开发了新一代开源ＮｅｗＳＱＬ数据库ＴｉＤＢ？ＴｉＤＢ的整体架构如图１－逡逑２所示。逡逑Ａｐｐｌｉｃａｔｉｏｎｓ逡逑Ｌｏａｄ邋Ｂａｌａｎｃｅｒ逡逑；：：｜ＬＶ￥，，邋Ｈａｐｒｏｘｙ，邋Ｆ５，逦广邋邋逦逦逦，逡逑ｚ’’ｍ￣￣逦ＰＤ逦ｊ逡逑ｆ逦逦逦逦？；逦；邋Ｓｅｒｖｅｒ邋Ｃｌｕｓｔｅｒ邋；逡逑ＴｉＤＲ逦ＰＤ逦；逡逑Ｓｅｒｖｅｒｓ邋丨丨邋日邋Ｓｅｒｖｅｒ逦了丨Ｄ８邋Ｓｅｒｖｅｒ逦Ｔ＇ｉＤＢ邋Ｓｅｒｖｅｒ逦＾邋邋邋Ｓｅｒｖｅｒ邋：逡逑逦逦逦逦逦逦逦；逦Ｓｅｒｖｅｒ逦；逡逑ｒ逦逦—Ｅ逦：！……ｉ－－…」逡逑ｔｉｋｖ邋丨逦ｆ逦邋逦逦逦逦邋逦逦逦ｊ逦逦——逦ｙ逦」逡逑Ｃｌｕｓｔｅｒ邋；逦ＴｉＫＶ邋Ｓｅｒｖｅｒ邋ＴｉＫＶ邋Ｓｅｒｖｅｒ逦ＴｉＫＶ邋Ｓｅｒｖｅｒ邋｜逦ＴｉＫＶ邋Ｓａｒｖｅｒ逦；逡逑图ｌ－２ＴｉＤＢ系统整体架构图逡逑ＴｉＤＢ邋集群主要分为邋ＴｉＤＢ邋Ｓｅｒｖｅｒ、ＰＤ邋Ｓｅｒｖｅｒ、ＴＩＫＶ邋Ｓｅｖｅｒ。ＴｉＤＢ邋Ｓｅｖｅｒ邋负责逡逑处理ＳＱＬ请求，并通过ＰＤ与ＴｉＫＶ交互获取结果。ＴｉＤＢ邋Ｓｅｖｅｒ不负责存储数逡逑据，可以水平扩展。ＰＤ邋Ｓｅｖｅｒ负责整个集群的调度与负载均衡，而ＴｉＫＶ邋Ｓｅｒｖｅｒ逡逑是真正负责存储数据的部分。ＴｉＫＶ采用Ｒａｆｔ协议进行复制

行式,列式,存储结构,索引

第二章关系型数据库与ＮｏＳＱＬ逦逡逑如图２－１所示，行式存储中，每条数据都保存在一起，相对的逡逑ＩＮＳＥＲＴ／ＵＰＤＡＴＥ操作就会比较容易，如果没有索引，其查询操作将会伴随逡逑大量的Ｉ／Ｏ；而列式模型在查询时，只会读取涉及到的列，从而大量降低系逡逑统Ｉ／Ｏ；可以把任何列作为索引，其投影也比较高效；在同一列的数据类型逡逑相似，可以进行十分高效的压缩处理。逡逑Ｒｏｗ－ｂａｓｅｄ邋ｓｔｏｒｅ逦Ｃｏｌｕｍｎ－ｂａｓｅｄ邋ｓｔｏｒｅ逡逑
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TH77;TP311.13

【参考文献】