基于HBase的证券交易数据实时采集系统的应用研究

发布时间：2021-11-18 23:13

　　随着大数据时代的到来,数据逐步上升为一种战略资源,在大数据产业链中,数据采集作为整个产业链的源头,直接影响着后续各个环节的发展。试提出一种数据采集方案,专门用来采集WEB网页中通过Ajax动态产生的JSON数据,同时利用Quartz和TimerTask双重定时机制,实现在指定的时点,在指定的周期内,按照指定的频率进行数据采集,以适应证券交易数据实时动态产生的应用场景,动态产生的实时JSON数据被采集后,系统再对其进行解析处理,并存储到分布式数据库HBase中,为后续的大数据实时统计分析和挖掘提供数据源。 

【文章来源】：黑龙江工业学院学报(综合版). 2019,19(12)

【文章页数】：8 页

【文章目录】：
1 系统的总体架构设计
2 系统的实现
    2.1 搭建Hadoop集群，并建立HBase分布式数据库
    2.2 利用Fiddler软件从网页中获取JSON数据的实际地址
    2.3 利用Quartz框架和TimerTask机制开发定时数据抓取程序
    2.4 对抓取的JSON数据进行解析和存储
3 系统关键技术点
    3.1 启动和结束时间点的精准处理
    3.2 抓取频率的精确控制
    3.3 分时成交数据重复抓取的处理


【参考文献】：
期刊论文
[1]基于Quartz的可视化定时任务管理方案[J]. 叶刚.  电子技术与软件工程. 2018(17)
[2]海量日志数据采集系统的设计与优化[J]. 郭鹏程,李迎春,付春燕,曹炳尧.  电子测量技术. 2018(01)
[3]基于Hadoop的电信大数据采集方案研究与实现[J]. 汪保友,钱晶,袁时金.  电信科学. 2017(01)
[4]基于多层次数据交换的区域智慧城市公共信息平台[J]. 陈民.  计算机应用与软件. 2016(12)
[5]基于HBase的农业无线传感信息存储系统[J]. 周利珍,陈庆奎.  计算机系统应用. 2012(08)

硕士论文
[1]HBase数据库监控系统的设计与实现[D]. 郭丽斯.北京邮电大学 2018
[2]基于HBase企业季报可信数据仓库构建与OLAP查询分析[D]. 杨士龙.石家庄铁道大学 2017
[3]基于Web Services和Quartz的数据整合系统的设计与实现[D]. 焦继笑.北京交通大学 2016
[4]基于数据挖掘算法的金融数据采集与分析研究[D]. 王悦.天津大学 2016
[5]面向金融大数据的高效数据处理机制的研究与设计[D]. 唐黎.北京邮电大学 2015



本文编号：3503813