岩爆实验大数据压缩算法及其可视化分析

发布时间：2020-06-03 04:15

【摘要】：在地下开采作业时,开采到一定深度,岩体构造应力相对较高,引发临空岩体突发式破坏的现象称为岩爆。岩爆机理研究具有极其重要的理论和现实意义。然而,研究者几乎都面临着实验数据量巨大、分析不足的问题,严重制约着研究的进一步开展。随着对岩爆机理的深入研究,所产生的实验数据越来越多,数据量已由GB级增长至TB、PB级别,如此庞大的数据量用传统的技术无法分析,为此将大数据技术引入岩爆研究领域。本文以某国家重点实验室的岩爆实验数据为研究对象,针对岩爆研究领域存在的三大问题——数据存储问题、数据处理问题、数据分析问题中的数据存储问题进行了深入的研究。论文首先通过对岩爆研究、大数据、压缩算法、可视化分析等技术的介绍引出了本文的研究内容。之后介绍了本文中涉及的岩爆实验大数据的采集方法,通过实验室的实验环境做了大量的岩爆实验并采集到大量实验数据,随机选取五组,运用大数据分析技术,对实验数据预处理,提出了实验数据统计算法及连续性特征分析算法,运用上述两个算法对岩爆实验大数据进行了数据特征提取及深入的数据特征分析,并将分析结果通过可视化分析技术进行了展现。在上述提取及分析数据特征的基础上,设计并实现了一组适合于岩爆数据的压缩存储算法:VSC、NVSC、VS、VC算法,通过四种算法的对比分析得出VC算法的压缩性能最优。在此基础上基于词典编码LZ78算法对VC算法进行了改进,设计并实现了D-VC算法。用上述五种算法分别对随机选取的五组岩爆实验数据进行了实验,统计了实验结果。通过对比各个算法的压缩效果,得出改进的D-VC算法压缩性能最好平均压缩率为1.912%,其平均压缩率优于WinRAR的3.48%,360压缩的4%,快压压缩的4.16%。对压缩算法性能进行了可视化分析,将上述压缩算法的压缩空间和压缩率等进行了动态可视化展示。通过上述工作解决了岩爆研究三大问题中的数据存储问题。基于大数据采集、大数据存储、信息查询、在线分析、可视化五个模块设计并开发了岩爆实验大数据处理系统,系统在已设计的压缩算法的基础上实现了大数据压缩上传功能。论文最后分析了本文压缩算法的经济效益。综上,本文的研究工作具有极其重要的理论价值和社会效益。
【图文】：

图 2-1 数据压缩分类图Fig.2-1 The figure of data compression classification.2 常见无损压缩算法

序或特定数据内容来说常用静态词典编码进行用的词典编码方法则是动态自适应词典编码。其在编码过程中词典内容随处理的数据不同而 Abraham Lempel 两位研究人员在 1977[44]年和编码表的论文，自适应词典编码的技术得以发典提供了两种不同的编码方法，同时基于两种发表的论文的方法人们将其划归为 LZ77 系列的方法则划归为 LZ78 系列或称 LZ2。中，先前经过编码的序列中的一部分为词典。编用滑动窗口方法来进行，，如图 2-3 所示。查找。其中最近已编码序列的部分成为查找缓冲区一部分内容。在图 2-3 中，可以观察到查找缓 7 个字符和 6 个字符。图 2-3 只是简单示例，很多。
【学位授予单位】：北京建筑大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;TD313

【相似文献】

相关期刊论文 前10条

1 涂华忠;林友洪;乔义然;;巴基斯坦恐怖主义研究动向的可视化分析[J];东南亚南亚研究;2017年04期

2 陈子优;;我国中医药立法可视化计量分析——作者合作分析[J];南方企业家;2018年04期

3 王录通;陈俊;王录安;周丽云;刘河;;基于CiteSpace可视化分析的创客教育研究[J];中国信息技术教育;2017年Z3期

4 游洁;拜争刚;黄鹏;吴淑婷;钟小玲;赵坤;王建成;杨克虎;;循证实践理念和方法在中国管理领域研究现状可视化分析[J];河南大学学报(医学版);2017年02期

5 武同雁;;国外机构知识库研究的可视化分析[J];现代情报;2017年08期

6 哈燕;文军萍;;核心素养问题研究:热点与趋势——基于2006年至2016年中国知网文献的共词可视化分析[J];现代基础教育研究;2016年04期

7 张杰;;绳连两球平衡问题可视化初探[J];中学教学参考;2017年11期

8 陈巧红;;近十年国内小型语料库建设与应用研究综述——基于CNKI的文献计量及可视化分析[J];青春岁月;2017年09期

9 李启元;杨亚桥;;态势可视化分析系统集成架构研究[J];舰船电子工程;2009年03期

10 马晓亭;;面向智慧决策的图书馆可视化分析系统研究[J];图书馆理论与实践;2019年01期

相关会议论文 前10条

1 ;石化企业安全检查可视化分析研究[A];2017中国化工学会年会——第二届化工安全论坛资料汇编[C];2017年

2 徐敏霞;张利会;隋怡;王衍鲁;褚朋朋;周学辉;高峰强;;心流体验发展趋势调查研究——通过文献共引可视化分析[A];第十九届全国心理学学术会议摘要集[C];2016年

3 王晴;;基于CSSCI的企业管理研究发展脉络及前沿的可视化分析[A];第八届（2013）中国管理学年会——创业与中小企业管理分会场论文集[C];2013年

4 朱良峰;;三维地质模型的可视化分析技术研究[A];第十三届全国图象图形学学术会议论文集[C];2006年

5 刘鸿泉;;水体下采煤可视化分析方法的研究[A];全国开采沉陷规律与“三下”采煤学术会议论文集[C];2005年

6 訾卫东;李佐惠;;新时代我国全民健身研究可视化分析[A];第二届“全民健身 科学运动”学术交流大会论文集[C];2018年

7 程赛琰;陆莉;;信息安全研究领域的可视化分析[A];第八届（2013）中国管理学年会——信息管理分会场论文集[C];2013年

8 张利会;褚朋朋;徐敏霞;隋怡;周学辉;王衍鲁;李小秋;王鹏;;21世纪生涯规划领域知识基础与新兴趋势的可视化分析[A];第十九届全国心理学学术会议摘要集[C];2016年

9 徐春才;;水电工程三维地质模型及可视化分析系统[A];中国水力发电工程学会第四届地质及勘探专业委员会第二次学术交流会论文集[C];2010年

10 翟宏X;魏晓薇;李强;;心理健康素养的文献计量及可视化分析[A];第二十一届全国心理学学术会议摘要集[C];2018年

相关重要报纸文章 前6条

1 宋辰;后真相时代，如何让数据点石成金[N];计算机世界;2017年

2 本报记者 郭涛;可视化分析人人都能用[N];中国计算机报;2015年

3 记者 刘杰 通讯员 崔慧军;冀北电网可视化分析配网抢修工单[N];国家电网报;2015年

4 刘鸿斌;基于三维GIS的输变电设备可视化分析管控系统试点上线运行[N];华北电力报;2010年

5 陈哲;SAS:推动大数据的深度分析[N];计算机世界;2015年

6 首席记者 何超群 通讯员 余园;多家国家机构为图胜科技点赞[N];绍兴日报;2019年

相关博士学位论文 前6条

1 侯剑华;工商管理学科演进与前沿热点的可视化分析[D];大连理工大学;2009年

2 于跃;基于三维地质分析模型的水电工程复杂坝基处理分析研究[D];天津大学;2010年

3 陈必坤;学科知识可视化分析研究[D];武汉大学;2014年

4 高晶晶;基于量化组方研究的方剂寒热属性可视化分析平台构建[D];北京中医药大学;2009年

5 刘芳;信息可视化技术及应用研究[D];浙江大学;2013年

6 杨珂;基于图形处理器的数据管理技术研究[D];浙江大学;2008年

相关硕士学位论文 前10条

1 丁鸿伟;岩爆实验大数据压缩算法及其可视化分析[D];北京建筑大学;2019年

2 刘飞;城市交通轨迹的可视化分析技术研究[D];沈阳建筑大学;2017年

3 杨沁柳;基于特定健康数据的可视化分析系统设计和实现[D];北京邮电大学;2019年

4 吕诗琪;基于知识图谱的我国英语教师专业发展研究可视化分析[D];内蒙古师范大学;2019年

5 李晓虎;近10年畜禽粪便研究可视化分析[D];内蒙古大学;2018年

6 丁玲云;中国中老年人的高血压和抑郁症状现状及其关联性分析[D];南华大学;2018年

7 QAYOOM ABDUL;[D];西南科技大学;2018年

8 贾晓霞;基于知识图谱的我国高等职业教育研究进展可视化分析[D];江苏师范大学;2018年

9 杨文尉;空气质量模型多维时态可视化分析工具研发[D];华南理工大学;2017年

10 黄欣茹;基于知识图谱的国内外啦啦操研究可视化分析[D];北京体育大学;2017年

本文编号：2694283