基于RHadoop的个人股票交易系统的构建

发布时间：2017-09-09 03:44

  本文关键词：基于RHadoop的个人股票交易系统的构建

  更多相关文章： 股票交易 Hadoop Rhadoop 系统设计 R语言

【摘要】：进入21世纪以来,人们的日常生活发生了很大变化,投资理财逐渐平民化,在众多的投资方式中,股票尤其独树一帜,高收益的同时伴随着高风险,如何充分了解股票走势,低风险却有可观回报成为热门研究,尤其是当今互联网时代对股票市场的发展情况产生了极大影响,不但将股票市场从线下扩展到线上,而且在这一过程中产生了海量的股票交易数据。利用计算机技术分析这些海量的数据信息,可以很好的了解市场的走势以及查看相似的股票走势来预测未来。所以,要想及时了解股市动态,稳住收益又不被套,急需要拥有自己的股票交易系统从旁佐助。R语言产生于统计学领域,R的前身是S语言,符合GNU的开源软件,所以与生俱来具有强大的统计计算和制图能力,其中开源实现的工具包至今有5200多个,充分利用这些工具包,合理搭配使用,将大大简化我们工作的建模过程,但是单机版的R有着诸多问题,互联网时代,数据成指数性增长,由于大数据所带来的单机问题,制约着R的更准确、更快速地统计分析能力;在处理大数据方面,Hadoop是热门研究之一,Hadoop使TB、PB级的存储、计算成为了可能,然而Hadoop虽然可以进行全量数据的分析工作,然而其中缺少成熟的数学模型,也缺乏理论依据,因此使用者编写的模型预测出的结果也就会缺少理论上的证实;如此看来,将R的统计分析和Hadoop海量数据处理能力结合起来使用,正好可以互补短长;于是,Rhadoop的出现无疑是给有这方面想法的人带来了福音,Rhadoop主要由rmr、rhbase、rhdfs三部分组成,每一部分都是一个独立的包,分别实现了R对Hadoop系统中的Map Reduce、Hbase、HDFS的调用。本文便是通过RHadoop开源软件包,使R与Hadoop互联,各取其优点。结合R中的各种相关开源包,用R语言进行Map Reduce程序设计,Hadoop的HDFS系统负责存储海量股票数据,二者取长补短,构建股票交易系统。本文主要工作:在linux系统中安装Xen Server,实现虚拟化,然后搭建Hadoop分布式环境,并配置Hadoop的相关文件,安装配置JDK,eclipse,R软件;利用RHadoop搭建R的基于Hadoop分布式平台的并行程序设计环境,配置相关文件,进行用R语言编写Map Reduce分布式程序;结合R语言中的各种包,构建一个完整的交易系统。该系统包括:注册与登陆、获取交易数据、可视化分析、账户管理功能以及以IBM股票(IBM)为例的系统演示。
【关键词】：股票交易 Hadoop Rhadoop 系统设计 R语言
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：F224;F832.51
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 绪论8-11
• 1.1 研究背景8-10
• 1.2 研究意义10
• 1.3 研究思路和所做的工作10-11
• 第2章 RHADOOP介绍11-29
• 2.1 HADOOP介绍11-18
• 2.1.1 MapReduce介绍11-14
• 2.1.2 HDFS文件系统14-16
• 2.1.3 HDFS数据流16-18
• 2.1.3.1 读文件过程16-17
• 2.1.3.2 写文件过程17-18
• 2.2 R介绍18-21
• 2.2.1 R的基本概念18-19
• 2.2.2 R的知识体系结构19-20
• 2.2.3 R的应用举例20-21
• 2.3 RHADOOP介绍21-29
• 2.3.1 RHadoop详细介绍22-24
• 2.3.1.1 RHadoop功能介绍22
• 2.3.1.2 RHadoop的常用算法包22-23
• 2.3.1.3 系统架构23
• 2.3.1.4 适用场景23
• 2.3.1.5 优缺点分析23
• 2.3.1.6 扩展性23-24
• 2.3.2 RHadoop的分布式应用举例——协同过滤应用展示24-29
• 第3章 需求分析29-34
• 3.1 系统功能简介29-30
• 3.2 系统可行性分析30-31
• 3.3 系统的主要模块31-32
• 3.3.1 用户模块31
• 3.3.2 操作界面31-32
• 3.4 系统的功能分析32-33
• 3.4.1 数据获取模块功能分析32
• 3.4.2 可视化分析模块32-33
• 3.4.3 账户管理模块33
• 3.5 系统的状态分析33-34
• 第4章 个人股票交易系统的构建34-53
• 4.1 HADOOP平台搭建34-39
• 4.2 R与RHADOOP包的安装与配置39-43
• 4.2.1 RStudio Server的安装39-41
• 4.2.2 RHadoop包的安装与配置41-43
• 4.3 个人股票交易系统应用层的构建43-47
• 4.3.1 用户模块实现43-44
• 4.3.2 操作界面及其功能的实现44-47
• 4.4 以IBM股票数据为例的应用测试47-53
• 第5章 总结与展望53-54
• 参考文献54-55
• 作者简介及在学期间所取得的科研成果55-56
• 致谢56

【参考文献】

中国期刊全文数据库 前3条

1 陆秋;程小辉;;基于MapReduce的决策树算法并行化[J];计算机应用;2012年09期

2 黄文依;王劲松;林胜;;HDFS可视化操作研究与实现[J];天津理工大学学报;2012年01期

3 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

，

本文编号：818100