元数据驱动的数据管理平台设计与实现
发布时间：2021-09-29 13:02
移动互联网App的业务后端通常采用多种数据库系统来存储不同维度和主题的业务数据,数据存储分散且结构各异。App的内容运营和编辑人员需要一个后端数据管理平台对这些不同维度的多源异构数据进行有效管理。传统的开发方式多采用定制化开发方式,根据业务需求具体编码,对数据增、删、改、查的实现并没有进行有效复用。本文提出了元数据驱动的架构设计,平台的生产数据库只保存元数据配置。发生数据请求时,平台根据预先配置的元数据信息,与异构数据源进行数据交互,完成数据抽取、转换和加载到Web端的数据查询流程或Web端到源端的数据变更流程。本文的研究工作包括以下几个方面:1、对异构数据源和业务功能进行元数据描述和管理,建立数据模型,选择关系数据库保存元数据信息,自定义元数据的配置规则。元数据配置决定了业务功能关联的数据源和字段的集合,以及与数据源的交互方式。2、设计和实现了数据引擎,提供通用化的接口处理增、删、改、查类业务功能的用户请求。数据引擎不仅能够处理面向单数据源的查询,还能够处理面向多数据源的关联查询,根据元数据配置分解关联查询为多个子查询,调度不同适配器程序完成子查询后对结果合并和转换,以中间件模式集成...
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
Query DSL查询语言示例
在ElasticSearch内部,文档数据同样以JSON形式进行存储,因此通过Query DSL查询语言得到的结果也为JSON格式,并且ElasticSearch会将数据封装进统一的数据结构中,便于程序解析,通常的返回形式如图2-2所示。其中,“took”字段表示了该查询消耗的时间,“hits”字段中包含了所有的返回结果,在该示例中,只有一条返回结果,并且被封装在“_source”字段中,结果中不同字段与具体的业务数据为<key,value>的映射形式。
使用单例模式(Singleton)的目的在于保证一个类在系统全局仅有一个对象实例,避免创建多个实例,并提供一个全局访问点使用该实例,提高全局的访问效率。在系统运行中,数据库连接、线程等临界区资源都面临频繁创建、销毁以及调用,需要系统对这些资源进行有效管理,提高复用率,避免系统面对大量并发访问时出现资源耗尽。因此,单例模式的特性决定了它常常被用于数据库连接池、线程池的创建过程,通过池化管理提高临界区资源的利用率。图2-3为该设计模式的简单示意图。2.4.3 模板方法
【参考文献】：
期刊论文
[1]基于SSH框架的JavaEE项目代码生成工具的研究与实现[J]. 朱海明. 数字技术与应用. 2017(11)
[2]基于JDBC的数据访问优化技术[J]. 韩兵,江燕敏,方英兰. 计算机工程与设计. 2017(08)
[3]关于Mybatis持久层框架的应用研究[J]. 荣艳冬. 信息安全与技术. 2015(12)
[4]基于Java开发的EJB技术应用探究[J]. 胡艳梅. 中国新技术新产品. 2015(11)
[5]“Feed”爆发[J]. 王砚青. 英才. 2015(03)
[6]Java动态代理的研究与应用[J]. 卢楠. 计算机与网络. 2014(12)
[7]“移动短视频社交应用”的兴起及趋势[J]. 张梓轩,王海,徐丹. 中国记者. 2014(02)
[8]元数据驱动ETL的研究[J]. 宿芳,寿永熙,苏依拉. 计算机工程与应用. 2012(06)
[9]基于元数据的异构数据集整合方案[J]. 张宇,蒋东兴,刘启新. 清华大学学报(自然科学版). 2009(07)
[10]数据集成综述[J]. 陈跃国,王京春. 计算机科学. 2004(05)
硕士论文
[1]基于SpringMVC的web工程通用模板设计[D]. 向春会.北京邮电大学 2018
[2]基于WEB的单点登录和权限管理技术研究与实现[D]. 李庆林.北京邮电大学 2017
[3]基于Web服务的异构数据源集成平台设计与实现[D]. 吕佳.华中科技大学 2016
[4]基于元数据的数据统计在研究生系统中的应用与实现[D]. 王守奎.济南大学 2015
[5]基于元数据的数据建模与集成技术研究与应用[D]. 魏星雷.山东大学 2015
[6]基于设计模式的实验室管理系统的设计与实现[D]. 张春强.大连理工大学 2013
[7]企业级信息系统快速开发框架的设计与实现[D]. 李巍.上海交通大学 2013
[8]数据服务管理组件与多源查询引擎设计与实现[D]. 刘超.天津大学 2009
本文编号：3413751
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
Query DSL查询语言示例
在ElasticSearch内部,文档数据同样以JSON形式进行存储,因此通过Query DSL查询语言得到的结果也为JSON格式,并且ElasticSearch会将数据封装进统一的数据结构中,便于程序解析,通常的返回形式如图2-2所示。其中,“took”字段表示了该查询消耗的时间,“hits”字段中包含了所有的返回结果,在该示例中,只有一条返回结果,并且被封装在“_source”字段中,结果中不同字段与具体的业务数据为<key,value>的映射形式。
使用单例模式(Singleton)的目的在于保证一个类在系统全局仅有一个对象实例,避免创建多个实例,并提供一个全局访问点使用该实例,提高全局的访问效率。在系统运行中,数据库连接、线程等临界区资源都面临频繁创建、销毁以及调用,需要系统对这些资源进行有效管理,提高复用率,避免系统面对大量并发访问时出现资源耗尽。因此,单例模式的特性决定了它常常被用于数据库连接池、线程池的创建过程,通过池化管理提高临界区资源的利用率。图2-3为该设计模式的简单示意图。2.4.3 模板方法
【参考文献】：
期刊论文
[1]基于SSH框架的JavaEE项目代码生成工具的研究与实现[J]. 朱海明. 数字技术与应用. 2017(11)
[2]基于JDBC的数据访问优化技术[J]. 韩兵,江燕敏,方英兰. 计算机工程与设计. 2017(08)
[3]关于Mybatis持久层框架的应用研究[J]. 荣艳冬. 信息安全与技术. 2015(12)
[4]基于Java开发的EJB技术应用探究[J]. 胡艳梅. 中国新技术新产品. 2015(11)
[5]“Feed”爆发[J]. 王砚青. 英才. 2015(03)
[6]Java动态代理的研究与应用[J]. 卢楠. 计算机与网络. 2014(12)
[7]“移动短视频社交应用”的兴起及趋势[J]. 张梓轩,王海,徐丹. 中国记者. 2014(02)
[8]元数据驱动ETL的研究[J]. 宿芳,寿永熙,苏依拉. 计算机工程与应用. 2012(06)
[9]基于元数据的异构数据集整合方案[J]. 张宇,蒋东兴,刘启新. 清华大学学报(自然科学版). 2009(07)
[10]数据集成综述[J]. 陈跃国,王京春. 计算机科学. 2004(05)
硕士论文
[1]基于SpringMVC的web工程通用模板设计[D]. 向春会.北京邮电大学 2018
[2]基于WEB的单点登录和权限管理技术研究与实现[D]. 李庆林.北京邮电大学 2017
[3]基于Web服务的异构数据源集成平台设计与实现[D]. 吕佳.华中科技大学 2016
[4]基于元数据的数据统计在研究生系统中的应用与实现[D]. 王守奎.济南大学 2015
[5]基于元数据的数据建模与集成技术研究与应用[D]. 魏星雷.山东大学 2015
[6]基于设计模式的实验室管理系统的设计与实现[D]. 张春强.大连理工大学 2013
[7]企业级信息系统快速开发框架的设计与实现[D]. 李巍.上海交通大学 2013
[8]数据服务管理组件与多源查询引擎设计与实现[D]. 刘超.天津大学 2009
本文编号：3413751
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3413751.html
