基于众包的数据仓库ETL系统研究
发布时间：2021-02-18 07:03
ETL是数据仓库获取数据的入口,是决定数据仓库质量的关键环节。针对目前构建数据仓库时,会面对数据信息来源广、数目大、有偏差,存在较多不确定和不完整数据等难题,传统ETL系统已难以满足企业构建数据仓库的需要。本文采用网络众包的理论和方法,将传统数据仓库ETL方法与网络众包方法相结合,研究构建基于众包的数据仓库ETL系统。论文研究的主要工作和成果如下:第一,分析阐述了传统数据仓库ETL系统目前存在的缺陷和不足。面对大数据环境下,数据来源广、数量大、类型多,存在较多不确定和不完整数据等现状,传统数据仓库ETL系统缺乏有效处理手段,需借助人工知识和方法来辅助进行数据处理。第二,设计给出一个基于众包的数据仓库ETL系统的总体架构。运用众包理论方法,结合传统ETL系统体系结构,设计建立了一个基于众包的,支持人工与机器相结合进行数据抽取、转换、加载处理的数据仓库ETL系统体系结构和软件平台。第三,设计给出了一种基于众包的数据仓库ETL不确定性数据信息处理的语言和众包评价控制算法。对标准SQL语句进行了简单的扩展,针对ETL过程众包的需要,设计形成一种基于众包的数据仓库ETL过程自适应的系统处理扩展语...
【文章来源】：西安石油大学陕西省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
石油钻井器具情况
且钻井器具的消耗量是非常大的，因此石油钻井企业的成本将会显著增加[21]。按照以往传统的油气钻井方式，根据过去的一些类似经验去进行钻井器具的采买，这种传统的方式会带来钻井器具的积压与不合理等状况，在当前石油行业竞争激烈的情况下一定程度上阻碍了企业前进发展的步伐。亟需用科学的方法提高钻井物料购买和使用的效率，以减少企业生产成本，为企业经济发展注入新的活力，提高石油企业市场竞争力。4.1.2 石油钻井中的钻具组合石油钻井工程中的设计主要就是在钻井前根据钻井地区获得的相关地质数据，进行具体的的井的施工过程中一些重要的施工参数的设计[22]。在实际钻井工作的开展过程中，对于不同的井段和不同的地层，钻头，钻具组合是不同的，需要进行合理的设计提高钻具器材的利用率，降低成本。每次开钻工作与钻具组合具有直接的对应关系。图 4-2 是某油井在一次油井开钻工作中所需物料的部分结构图。
Roller_bit_num int(3),};在例子中，整个数据表 DBom 都是不确定的，因而可以直接将整个表加入“Crowd”属性，将整个表的处理都发布至众包处理平台进行解决。数据转换过程涉及到格式修正，字段解码，单个字段分离，特征集合转化，度量集合转化，关键字重新构造等问题，我们采用网络众包的方法对数据进行了完善填充，再依据工程师设定的转换规则将数据准备区中的数据进行新一轮的转换。将转换后的数据继续整合在数据准备区中。4.4 系统界面设计（1）系统首页。系统设计本身本着界面简单易理解的原则进行设计，系统首页从整体上看分为任务栏和任务执行状态展示部分，任务栏包括了对于数据源，数据任务的管理，而任务执行状态栏则显示了众包用户执行任务的数量，未完成的任务数量以及用户的信用分数等信息。如图 4-10 所示。
【参考文献】：
期刊论文
[1]大数据环境下基于元模型控制的数据质量保障技术研究[J]. 杨冬菊,徐晨阳. 计算机工程与科学. 2019(02)
[2]基于众包的数据优化——以数字方志特藏资源建设为例[J]. 李欣,于亚秀,程静. 图书馆论坛. 2019(02)
[3]基于ETL工具的系泊监测数据回传方式[J]. 张鹏. 资源节约与环保. 2019(01)
[4]钻井远程信息平台应用研究[J]. 闫冰. 中国石油和化工标准与质量. 2019(02)
[5]基于可变时间窗口的增量数据抽取模型[J]. 刘杰,王桂玲,左小将. 计算机科学. 2018(11)
[6]分布式网络日志分析系统的设计与实现[J]. 李亚红,胡前忠. 信息与电脑(理论版). 2018(21)
[7]基于众包的钻井物料数据仓库ETL系统研究[J]. 周洁. 智能计算机与应用. 2018(04)
[8]ETL任务集群调度方法[J]. 李磊. 计算机技术与发展. 2018(11)
[9]基于众包的石油钻井物料清单系统的研究[J]. 周洁,方明. 智能计算机与应用. 2018(02)
[10]大数据应用的现状与展望[J]. 张引,陈敏,廖小飞. 计算机研究与发展. 2013(S2)
硕士论文
[1]基于Hadoop的钻井物料清单系统的设计与实现[D]. 向世静.西安石油大学 2017
[2]基于众包的信息查询处理方法研究与应用[D]. 王凡.西安石油大学 2017
[3]保险业经营管理系统中ETL的设计与应用[D]. 田蕊.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[4]基于多租户的石油钻井ERP系统的研究[D]. 宫佩.西安石油大学 2016
[5]基于大数据的钻井物料信息多维分析研究[D]. 李欣.西安石油大学 2016
[6]数据仓库中ETL建模问题的研究[D]. 赵瑞珍.燕山大学 2009
本文编号：3039213
【文章来源】：西安石油大学陕西省
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
石油钻井器具情况
且钻井器具的消耗量是非常大的，因此石油钻井企业的成本将会显著增加[21]。按照以往传统的油气钻井方式，根据过去的一些类似经验去进行钻井器具的采买，这种传统的方式会带来钻井器具的积压与不合理等状况，在当前石油行业竞争激烈的情况下一定程度上阻碍了企业前进发展的步伐。亟需用科学的方法提高钻井物料购买和使用的效率，以减少企业生产成本，为企业经济发展注入新的活力，提高石油企业市场竞争力。4.1.2 石油钻井中的钻具组合石油钻井工程中的设计主要就是在钻井前根据钻井地区获得的相关地质数据，进行具体的的井的施工过程中一些重要的施工参数的设计[22]。在实际钻井工作的开展过程中，对于不同的井段和不同的地层，钻头，钻具组合是不同的，需要进行合理的设计提高钻具器材的利用率，降低成本。每次开钻工作与钻具组合具有直接的对应关系。图 4-2 是某油井在一次油井开钻工作中所需物料的部分结构图。
Roller_bit_num int(3),};在例子中，整个数据表 DBom 都是不确定的，因而可以直接将整个表加入“Crowd”属性，将整个表的处理都发布至众包处理平台进行解决。数据转换过程涉及到格式修正，字段解码，单个字段分离，特征集合转化，度量集合转化，关键字重新构造等问题，我们采用网络众包的方法对数据进行了完善填充，再依据工程师设定的转换规则将数据准备区中的数据进行新一轮的转换。将转换后的数据继续整合在数据准备区中。4.4 系统界面设计（1）系统首页。系统设计本身本着界面简单易理解的原则进行设计，系统首页从整体上看分为任务栏和任务执行状态展示部分，任务栏包括了对于数据源，数据任务的管理，而任务执行状态栏则显示了众包用户执行任务的数量，未完成的任务数量以及用户的信用分数等信息。如图 4-10 所示。
【参考文献】：
期刊论文
[1]大数据环境下基于元模型控制的数据质量保障技术研究[J]. 杨冬菊,徐晨阳. 计算机工程与科学. 2019(02)
[2]基于众包的数据优化——以数字方志特藏资源建设为例[J]. 李欣,于亚秀,程静. 图书馆论坛. 2019(02)
[3]基于ETL工具的系泊监测数据回传方式[J]. 张鹏. 资源节约与环保. 2019(01)
[4]钻井远程信息平台应用研究[J]. 闫冰. 中国石油和化工标准与质量. 2019(02)
[5]基于可变时间窗口的增量数据抽取模型[J]. 刘杰,王桂玲,左小将. 计算机科学. 2018(11)
[6]分布式网络日志分析系统的设计与实现[J]. 李亚红,胡前忠. 信息与电脑(理论版). 2018(21)
[7]基于众包的钻井物料数据仓库ETL系统研究[J]. 周洁. 智能计算机与应用. 2018(04)
[8]ETL任务集群调度方法[J]. 李磊. 计算机技术与发展. 2018(11)
[9]基于众包的石油钻井物料清单系统的研究[J]. 周洁,方明. 智能计算机与应用. 2018(02)
[10]大数据应用的现状与展望[J]. 张引,陈敏,廖小飞. 计算机研究与发展. 2013(S2)
硕士论文
[1]基于Hadoop的钻井物料清单系统的设计与实现[D]. 向世静.西安石油大学 2017
[2]基于众包的信息查询处理方法研究与应用[D]. 王凡.西安石油大学 2017
[3]保险业经营管理系统中ETL的设计与应用[D]. 田蕊.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[4]基于多租户的石油钻井ERP系统的研究[D]. 宫佩.西安石油大学 2016
[5]基于大数据的钻井物料信息多维分析研究[D]. 李欣.西安石油大学 2016
[6]数据仓库中ETL建模问题的研究[D]. 赵瑞珍.燕山大学 2009
本文编号：3039213
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3039213.html
