提高智能网络中地震数据集成与共享性能的研究
发布时间:2022-01-04 05:15
地震数据集成共享在地震监测与分析中具有重要作用。为此,针对传统基于数字图书馆的地震数据集成化共享方法集成度低、共享率差的问题,研究一种新的地震数据集成与共享方法,该方法分为两个阶段,先是利用数据仓库技术对地震数据进行集成,包括数据抽取、清洗、归约、装载等;后建立共享平台,完成数据透明式访问,实现数据共享。结果表明:利用该文章所提出的方法对大规模地震数据进行集成化共享,集成度达到95.68%,共享率达到87.34%,为遥测地震监测与预防提供了有效的数据查询平台。
【文章来源】:地震工程学报. 2020,42(02)北大核心CSCD
【文章页数】:6 页
【部分图文】:
基于数据仓库的地震数据集成化共享基本思路
数据抽取是数据进入数据仓库的入口,主要包括互联、复制、增量、转换、调度等几个环节,目前对于数据抽取主要通过抽取工具来完成,其原理是通过建立源数据与目标数据之间的对应关系生成抽取代码,利用计算机强大的计算功能进行自动抽取,同时对抽取到的数据进行清洗、转换等[7]。在这里主要由ETL工具完成。目前国内外市场上主要ETL工具有Ascentia公司的DataStage、Oracle公司的OWB、微软公司的DTS、IBM公司的DWC等,这些工具的性能比较如表2所列。
面对海量的地震数据,缩减其规模对于降低储存空间占有率具有重要作用,可以减少共享平台负载,提高运行效率。数据归约是指从目标大数据中提取具有代表性的数据特征,以此代替原始大数据,从而在尽可能保持数据原貌的前提下,最大限度地精简数据量,降低数据规模[8]。目前,数据归约主要有三种方法:特征归约、样本归约与特征值归约。在这里由于面对不相关、冗余、重复等大规模已知地震数据,因此选择样本归约方法降低地震数据规模。样本归约就是从数据集中选出一个有代表性的样本的子集,特点是成本少、速度快、范围广,有时甚至能获得较高的精度。(4) 数据转换
【参考文献】:
期刊论文
[1]基于SV模型的行程时间预测[J]. 杨超,胡尧,商明菊,李扬,周江娥. 贵州大学学报(自然科学版). 2019(05)
[2]某砖混厂房火灾后安全性评定与再生设计[J]. 李勤,裴兴旺,孟海. 消防科学与技术. 2019(07)
[3]面向地震勘探算法的模块集成技术研究[J]. 冯玉苹,徐维秀,刁瑞,吕双,莫延钢. 地球物理学进展. 2017(05)
[4]基于大数据技术的地震科学数据集成共享研究[J]. 刘坚,马文娟,李盛乐,谢有顺. 中国科技资源导刊. 2017(05)
[5]历史地震图数据库及共享平台[J]. 郑钰,彭朝勇,杨建思. 地震地磁观测与研究. 2017(04)
[6]基于区块链的医疗数据共享模型研究[J]. 薛腾飞,傅群超,王枞,王新宴. 自动化学报. 2017(09)
[7]面向地震行业的地震数据共享服务平台的设计与实现[J]. 谢有顺,李盛乐,刘小利,刘坚,刘珠妹,陈晓琳. 大地测量与地球动力学. 2017(05)
[8]面向综合智能交通系统的多源异构数据集成框架研究[J]. 姚庆华,和永军,缪应锋. 云南大学学报(自然科学版). 2017(S1)
[9]面向Deep Web本地化数据集成的数据源两层选择模型[J]. 鲜学丰,崔志明,方立刚,顾才东,孙逊. 计算机工程. 2017(03)
[10]“互联网+”环境下我国科学数据共享平台发展研究[J]. 邓仲华,黄雅婷. 情报理论与实践. 2017(02)
本文编号:3567735
【文章来源】:地震工程学报. 2020,42(02)北大核心CSCD
【文章页数】:6 页
【部分图文】:
基于数据仓库的地震数据集成化共享基本思路
数据抽取是数据进入数据仓库的入口,主要包括互联、复制、增量、转换、调度等几个环节,目前对于数据抽取主要通过抽取工具来完成,其原理是通过建立源数据与目标数据之间的对应关系生成抽取代码,利用计算机强大的计算功能进行自动抽取,同时对抽取到的数据进行清洗、转换等[7]。在这里主要由ETL工具完成。目前国内外市场上主要ETL工具有Ascentia公司的DataStage、Oracle公司的OWB、微软公司的DTS、IBM公司的DWC等,这些工具的性能比较如表2所列。
面对海量的地震数据,缩减其规模对于降低储存空间占有率具有重要作用,可以减少共享平台负载,提高运行效率。数据归约是指从目标大数据中提取具有代表性的数据特征,以此代替原始大数据,从而在尽可能保持数据原貌的前提下,最大限度地精简数据量,降低数据规模[8]。目前,数据归约主要有三种方法:特征归约、样本归约与特征值归约。在这里由于面对不相关、冗余、重复等大规模已知地震数据,因此选择样本归约方法降低地震数据规模。样本归约就是从数据集中选出一个有代表性的样本的子集,特点是成本少、速度快、范围广,有时甚至能获得较高的精度。(4) 数据转换
【参考文献】:
期刊论文
[1]基于SV模型的行程时间预测[J]. 杨超,胡尧,商明菊,李扬,周江娥. 贵州大学学报(自然科学版). 2019(05)
[2]某砖混厂房火灾后安全性评定与再生设计[J]. 李勤,裴兴旺,孟海. 消防科学与技术. 2019(07)
[3]面向地震勘探算法的模块集成技术研究[J]. 冯玉苹,徐维秀,刁瑞,吕双,莫延钢. 地球物理学进展. 2017(05)
[4]基于大数据技术的地震科学数据集成共享研究[J]. 刘坚,马文娟,李盛乐,谢有顺. 中国科技资源导刊. 2017(05)
[5]历史地震图数据库及共享平台[J]. 郑钰,彭朝勇,杨建思. 地震地磁观测与研究. 2017(04)
[6]基于区块链的医疗数据共享模型研究[J]. 薛腾飞,傅群超,王枞,王新宴. 自动化学报. 2017(09)
[7]面向地震行业的地震数据共享服务平台的设计与实现[J]. 谢有顺,李盛乐,刘小利,刘坚,刘珠妹,陈晓琳. 大地测量与地球动力学. 2017(05)
[8]面向综合智能交通系统的多源异构数据集成框架研究[J]. 姚庆华,和永军,缪应锋. 云南大学学报(自然科学版). 2017(S1)
[9]面向Deep Web本地化数据集成的数据源两层选择模型[J]. 鲜学丰,崔志明,方立刚,顾才东,孙逊. 计算机工程. 2017(03)
[10]“互联网+”环境下我国科学数据共享平台发展研究[J]. 邓仲华,黄雅婷. 情报理论与实践. 2017(02)
本文编号:3567735
本文链接:https://www.wllwen.com/kejilunwen/diqiudizhi/3567735.html