基于云计算的冠字号码存储与查询系统中的关键技术研究与实现

发布时间：2021-01-17 11:43

　　冠字号码由冠号和数字编号两个部分组成,是人民币的身份标识。金融部门对冠字号码统计归档可以有效监管纸币的流通情况。冠字号码数据在掌握钱币来源去向、揭示资金关联、发现问题钱币等方面发挥着重要的作用。现金设备采集的冠字号码记录主要由文本与图片两部分数据组成,数据量巨大。关系型数据库在处理海量冠字号码数据时面临巨大的挑战,系统成本高,难度大。而基于云计算的技术虽然在很多海量数据的存储与查询中得到了应用,但是对于冠字号码实际应用中的多维查询、索引构建、小文件存储与查询等具体问题,现有的云平台也存在着一些不足。本文设计并实现了基于云计算的冠字号码存储与查询系统,并对其中的部分关键技术进行了研究。冠字号码文本记录的查询常常会涉及到多个查询条件,而基于云计算的NoSql数据库采用Key-Value结构,只支持主键的快速查询,对于多个非主键的查询很有可能会造成全表扫描操作,查询效率不高。本文提出了一种基于HBase的多维索引框架来实现冠字号码文本信息的快速查询。该索引框架首先设计了粗细粒度结合的多维空间索引,实现多维数据向一维上的投影;然后通过每个时间段内的记录条数对生成数据区块的大小进行限制,在控制H... 

【文章来源】：南京理工大学江苏省 211工程院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

图２－１?Ｈａｄｏｏｐ生态系统??在Ｈａｄｏｏｐ中有两个核心模块，分别是ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ

ＨＤＦＳ、管理表中的数据。Ｃｌｉｅｎｔ直接通过ＨＲｅｇｉｏｎＳｅｒｖｅｒ读写数据，具体方式是从ＨＭａｓｔｅｒ??中获取元数据，找到ＲｏｗＫｅｙ所在的ＨＲｅｇｉｏｎＳｅｒｖｅｒ后进行操作。??ＨＢａｓｅ系统架构如图２－３所示。??．?Ｚ?．、、、、???ＨＲｅｇｓｏｎＳ＾ｖｅｒ?ｉ?ＨＲ？ｇ？ｏｎＳｅｆｖｅＴ??－???ｎ?丨丨丨，．議．丨????．丨丨■丨丨：｛广１…?．．．．．丨丨．丨?????丨?＂＂＂??＂?、＇??ＨＲｅｇｉｏｎ?Ｉ?ｓ?ＨＲｅｇｉｏｎ??髮?—］ＳＪａｆｅ?？＞?＾ＳｋＫＣ?１?Ｉ?ｆ?１?ｆ?Ｓｉｏｆｆｉ?Ｑ＾ｎＳｉＳｒｅＴ］?Ｓｓｏｒｅ??｜?Ｉ?１Ｉ＇＂?ｉ?ｊ?ＩＩＩ?｜－?＾?卜，…??工?Ｕ?１丄［丄—ｉ?Ｊｊ?ｊ?ｊ?｜｜?［?ｊｉ｝?＼＾ｉ?ｉｔ?１＾１?Ｊ?ｊｌＵｎＦｔｅｌ?Ｊ?Ｊ?．］??ｉ?＾?＾?＞

通过ＲｏｗＫｅｙ定位到查询结果所在的Ｒｅｇｉｏｎ以及该Ｒｅｇｉｏｎ对应的ＨＲｅｇｉｏｎＳｅｒｖｅｒ。??其中，－ＭＥＴＡ表中记录了用户表中的Ｒｅｇｉｏｎ信息，而－ＲＯＯＴ表中存储了－ＭＥＴＡ??表中的信息。当发生查询请求时，采用类似于Ｂ＋树的三层查询结构。查询流程如图２－４??所示。??１２??


本文编号：2982816