面向区块链的数据分析平台的设计与实现
发布时间：2021-04-16 05:20
区块链自诞生以来便受到了广泛的关注。随着区块链技术的发展,许多问题也随之而来,如用户隐私泄露、非法金融活动等。目前,区块链中的数据不断增加,但是只有通过数据分析后获得的数据,才是有价值的数据。而比特币的公有链中,节点可以获取该公有链中的所有数据,为比特币的数据分析提供了数据接口。数据分析人员可以通过获取公有链的交易数据,对该链中的数据进行分析,进而分析数据交易背后的行为,了解和解决相关问题。因此,一个能够高效处理、计算海量数据并对数据结果进行可视化的数据分析平台是及其重要的。本文所描述的数据分析平台是基于比特币的,包含了数据获取、数据存储、数据分析以及数据可视化等技术。本数据分析平台主要包含数据获取、数据处理和数据展示三大部分。系统通过比特币钱包中数据文件提供的索引,按顺序获取数据,然后对数据按需求处理后进行存储。利用Spark SQL组件对数据活跃度进行计算;并利用Spark GraphX框架对交易数据进行图计算与分析;通过Spark MLlib库对异常交易进行识别。计算后,系统将结果通过图表、文件等方式展示。从功能层面上,系统功能又可分为五个模块,分别为数据获取模块、数据展示模块、...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图３－１系统总体结构图??如上图３－１所示，系统主要分为三部分．？数据准备、数据计算和数据展示
系统使用?Ｓｐａｒｋ?ＳＱＬ?对最基础??的活跃度进行分析；利用Ｓｐａｒｋ的ＭＬｌｉｂ库，对交易进行聚类，找出异常交易，??进而判断一个交易是否为异常交易；而Ｓｐａｒｋ的ＧｒａｐｈＸ库则可以对交易网络进??行图计算［１２］。??ｓＳｋ?，ｔＳｐａｒｋ?ｄ??ＳＱＬ?Ｓｔｒｅｓｍｍｇ?Ｌｅａｒｎｌｎｇ）?（９?丨叩?Ｗ??Ａｐａｃｈｅ?Ｓｐａｒｋ??本?ＩＦ?独＾?ＥＣ２?Ｍｅｓ〇５?ＹＡＲＮ??ＨＤＦＳ?Ａｍａｚｏｎ?ｓ３．?Ｈｙｐｅｒｔａｂｌｅ．?ＨＢａｓｅ，?ｅｔｃ??图３－２?Ｓｐａｒｋ总体架构??３．?Ｓｐｒｉｎｇｂｏｏｔ?框架??Ｓｐｒｉｎｇｂｏｏｔ是一个基于Ｓｐｒｉｎｇ框架的微服务框架。它延续了?Ｓｐｒｉｎｇ框架的??控制反转（ＩＯＣ）和面向切面（ＡＯＰ）核心思想，并简化了?Ｓｐｒｉｎｇ应用的创建、运??行、调试和部署。Ｓｐｒｉｎｇｂｏｏｔ基本上是Ｓｐｒｉｎｇ框架的扩展，它消除了设置Ｓｐｒｉｎｇ??应用程序所需的ＸＭＬ配置，可以更快、更高效的开发［１３。??系统整体框架是使用Ｓｐｎｎｇｂｏｏｔ整合开发包来搭建，在整个应用服务请求??１６??
?山东大学硕士学位论文???处理中，根据在请求处理中所担任的职责不同可以将应用系统分为三层：??１．访问控制ｃｏｎｔｒｏｌｌｅｒ层：用于接收前端请求，并将请求处理结果返回给??前端。??２？业务处理ｓｅｒｖｉｃｅ层：负责请求的具体处理，重要或者复杂的业务放在??业务处理层来实现。??３．数据持久化ｄａｏ层：实现并对外提供访问数据库的接口Ｍ４］。??
【参考文献】：
期刊论文
[1]基于Spark的并行社区发现算法[J]. 刘东江,黎建辉. 计算机应用研究. 2020(08)
[2]大数据应用现状与展望[J]. 周敏,田秋艳. 信息与电脑(理论版). 2019(03)
[3]区块链数据分析:现状、趋势与挑战[J]. 陈伟利,郑子彬. 计算机研究与发展. 2018(09)
[4]区块链技术研究综述[J]. 黄俊飞,刘杰. 北京邮电大学学报. 2018(02)
[5]基于Spark的工业大数据处理可视化平台应用研究[J]. 刘学军,李长云,万烂军. 福建电脑. 2017(12)
[6]Hadoop与Spark应用场景研究[J]. 冯兴杰,王文超. 计算机应用研究. 2018(09)
[7]一种大数据智能分析平台的数据分析方法及实现技术[J]. 蓝科,李婧. 数字技术与应用. 2017(03)
[8]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋. 信息通信. 2016(10)
[9]基于Spark的大数据计算模型[J]. 王磊,时亚文. 电脑知识与技术. 2016(20)
[10]基于Spring Boot的web设计与实现[J]. 杨家炜. 轻工科技. 2016(07)
硕士论文
[1]基于Spark的电信客户细分数据分析平台实现和应用[D]. 吕亮亮.北京邮电大学 2019
[2]大数据可视化统计分析通用平台的设计与实现[D]. 张阳.北京交通大学 2019
[3]基于异常检测的改进K-means算法研究[D]. 薛晨杰.浙江农林大学 2019
[4]基于Spark的社交网络数据分析平台[D]. 王海林.山东大学 2018
本文编号：3140819
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图３－１系统总体结构图??如上图３－１所示，系统主要分为三部分．？数据准备、数据计算和数据展示
系统使用?Ｓｐａｒｋ?ＳＱＬ?对最基础??的活跃度进行分析；利用Ｓｐａｒｋ的ＭＬｌｉｂ库，对交易进行聚类，找出异常交易，??进而判断一个交易是否为异常交易；而Ｓｐａｒｋ的ＧｒａｐｈＸ库则可以对交易网络进??行图计算［１２］。??ｓＳｋ?，ｔＳｐａｒｋ?ｄ??ＳＱＬ?Ｓｔｒｅｓｍｍｇ?Ｌｅａｒｎｌｎｇ）?（９?丨叩?Ｗ??Ａｐａｃｈｅ?Ｓｐａｒｋ??本?ＩＦ?独＾?ＥＣ２?Ｍｅｓ〇５?ＹＡＲＮ??ＨＤＦＳ?Ａｍａｚｏｎ?ｓ３．?Ｈｙｐｅｒｔａｂｌｅ．?ＨＢａｓｅ，?ｅｔｃ??图３－２?Ｓｐａｒｋ总体架构??３．?Ｓｐｒｉｎｇｂｏｏｔ?框架??Ｓｐｒｉｎｇｂｏｏｔ是一个基于Ｓｐｒｉｎｇ框架的微服务框架。它延续了?Ｓｐｒｉｎｇ框架的??控制反转（ＩＯＣ）和面向切面（ＡＯＰ）核心思想，并简化了?Ｓｐｒｉｎｇ应用的创建、运??行、调试和部署。Ｓｐｒｉｎｇｂｏｏｔ基本上是Ｓｐｒｉｎｇ框架的扩展，它消除了设置Ｓｐｒｉｎｇ??应用程序所需的ＸＭＬ配置，可以更快、更高效的开发［１３。??系统整体框架是使用Ｓｐｎｎｇｂｏｏｔ整合开发包来搭建，在整个应用服务请求??１６??
?山东大学硕士学位论文???处理中，根据在请求处理中所担任的职责不同可以将应用系统分为三层：??１．访问控制ｃｏｎｔｒｏｌｌｅｒ层：用于接收前端请求，并将请求处理结果返回给??前端。??２？业务处理ｓｅｒｖｉｃｅ层：负责请求的具体处理，重要或者复杂的业务放在??业务处理层来实现。??３．数据持久化ｄａｏ层：实现并对外提供访问数据库的接口Ｍ４］。??
【参考文献】：
期刊论文
[1]基于Spark的并行社区发现算法[J]. 刘东江,黎建辉. 计算机应用研究. 2020(08)
[2]大数据应用现状与展望[J]. 周敏,田秋艳. 信息与电脑(理论版). 2019(03)
[3]区块链数据分析:现状、趋势与挑战[J]. 陈伟利,郑子彬. 计算机研究与发展. 2018(09)
[4]区块链技术研究综述[J]. 黄俊飞,刘杰. 北京邮电大学学报. 2018(02)
[5]基于Spark的工业大数据处理可视化平台应用研究[J]. 刘学军,李长云,万烂军. 福建电脑. 2017(12)
[6]Hadoop与Spark应用场景研究[J]. 冯兴杰,王文超. 计算机应用研究. 2018(09)
[7]一种大数据智能分析平台的数据分析方法及实现技术[J]. 蓝科,李婧. 数字技术与应用. 2017(03)
[8]Spring Boot研究和应用[J]. 王永和,张劲松,邓安明,周智勋. 信息通信. 2016(10)
[9]基于Spark的大数据计算模型[J]. 王磊,时亚文. 电脑知识与技术. 2016(20)
[10]基于Spring Boot的web设计与实现[J]. 杨家炜. 轻工科技. 2016(07)
硕士论文
[1]基于Spark的电信客户细分数据分析平台实现和应用[D]. 吕亮亮.北京邮电大学 2019
[2]大数据可视化统计分析通用平台的设计与实现[D]. 张阳.北京交通大学 2019
[3]基于异常检测的改进K-means算法研究[D]. 薛晨杰.浙江农林大学 2019
[4]基于Spark的社交网络数据分析平台[D]. 王海林.山东大学 2018
本文编号：3140819
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3140819.html
