基于Flume的MySQL数据自动收集系统

发布时间：2017-08-05 11:39

  本文关键词：基于Flume的MySQL数据自动收集系统

  更多相关文章： Flume MySQL数据库 数据收集 HBase JDBC

【摘要】：针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自动查询给定的MySQL数据库表,自动检测表中的数据更新,实现自动增量传输,并对原始数据进行封装、解析,最终将数据存储到非关系型数据库HBase中。在测试中,系统中每台机器的平均传输速度可达到1 111 kb/s,系统总的平均传输速度可以达到3 333 kb/s,并且保证了数据的完整性,实现了可靠高效传输的目标。
【作者单位】： 西安邮电大学;陕西省信息化工程研究院;
【关键词】： Flume MySQL数据库 数据收集 HBase JDBC
【基金】：2015年工信部通信软科学研究项目(2015-R-19) 2015陕西省信息化技术研究项目(2015-002)
【分类号】：TP311.13
【正文快照】： 0引言近年来,随着信息技术的快速发展,带来的是各种信息、数据的爆发式增长,大数据时代应运而生。2008年8月,首次提出大数据的概念。在大数据时代,TB、PB,甚至EB级的数据已经成为一种常态。为了应对大数据的存储、处理以及大型计算机成本高的难题,集群化的分布式系统快速发展

【相似文献】

中国期刊全文数据库 前10条

1 吕律明;;PHP+MySQL环境下论坛的搭建[J];广东交通职业技术学院学报;2007年01期

2 袁萌;;MySQL让自由力量放光彩[J];信息系统工程;2007年05期

3 ;怎样使MySQL安全以对抗解密高手[J];计算机与网络;2012年23期

4 范新民;;高并发环境下MySQL软硬件配置优化[J];福建师范大学学报(自然科学版);2013年06期

5 何世明;利用MySQL C接口实现多用户通信[J];计算机时代;2003年05期

6 郭小雪;杨洪升;;基于PHP/MySQL的古汉语语料库系统的设计与实现[J];茂名学院学报;2005年06期

7 ;如何保护MySQL重要数据[J];每周电脑报;2006年33期

8 彭敏;;MySQL进军企业级[J];软件世界;2006年21期

9 ;MySQL CEO首次访华 力推企业级应用[J];中国政府采购;2007年04期

10 陈巧;吴峻;;基于Mysql的各高校医学视频资源跨库的共享[J];电脑与电信;2007年10期

中国重要会议论文全文数据库 前10条

1 赵志敏;;MySQL查询高速缓冲关键技术研究[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年

2 梁勇;阳国贵;;MySQL数据库的事务一致性研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年

3 王灵;;MySQL数据库在气象网站中的应用[A];数据库技术在气象领域的应用学术会议论文集[C];2001年

4 秦金;徐国胜;;基于DHT的分布式MySQL复制方案设计[A];第九届中国通信学会学术年会论文集[C];2012年

5 Miki Shimizu;;在NetBeans中构建一个简单的MySQL客户端[A];促进企业信息化进程——第九届中国Java技术及应用交流大会文集[C];2006年

6 陈海阳;刘秀军;黄江华;;基于JSP与MySQL巡更巡检信息系统的开发与应用[A];山东省测绘学术年会论文集[C];2006年

7 罗凡;彭秀增;申春;李肃义;;MySQL中InnoDB引擎索引树的搜索策略[A];2006年全国理论计算机科学学术年会论文集[C];2006年

8 殷丽;徐海华;吴海涛;;MySQL查询优化技术——索引[A];第八届工业仪表与自动化学术会议论文集[C];2007年

9 徐海华;殷丽;吴海涛;;MySQL触发器在生产安全检查系统中的应用[A];上海市化学化工学会2006年度学术年会论文摘要集[C];2006年

10 丁悦;吴海涛;;MySQL存储过程在生产安全检查系统中的应用[A];第八届工业仪表与自动化学术会议论文集[C];2007年

中国重要报纸全文数据库 前10条

1 邹大斌;MySQL走向高端应用[N];计算机世界;2007年

2 边歆;MySQL：成长的烦恼[N];网络世界;2008年

3 四木;MySQL挺进中端市场[N];计算机世界;2003年

4 本报记者 于翔;MySQL前景依然迷茫[N];网络世界;2010年

5 清水 编译 邹大斌;担忧MySQL的未来[N];计算机世界;2010年

6 于辰涛;MySQL以速度为目标[N];计算机世界;2002年

7 江苏省扬州市邗江区泰安学校 高超;PHP+MySQL论坛简易通[N];中国电脑教育报;2006年

8 张振;携手万里开源 MySQL设立中国研发中心[N];电脑商报;2006年

9 本报记者 于翔;甲骨文的MySQL承诺能否稳定民心?[N];网络世界;2010年

10 王翔;MySQL前路多艰[N];网络世界;2010年

中国硕士学位论文全文数据库 前10条

1 李红艳;基于NDB引擎的MySQL Cluster的部署规则及测试[D];山东大学;2015年

2 丁相民;多租户SaaS应用中的MySQL集群性能研究[D];山东大学;2015年

3 陈建祥;基于MySQL新闻搜索引擎的设计与实现[D];复旦大学;2013年

4 李华明;基于PHP和MySQL的网上购物系统设计与实现[D];电子科技大学;2014年

5 王刚;基于PHP+MySQL的电商平台系统的设计与实现[D];电子科技大学;2014年

6 谭森;基于日志分析的MySQL数据库取证算法研究[D];上海交通大学;2015年

7 赵艳丽;基于SSH+MySQL+MongoDB的教育管理系统[D];青岛理工大学;2015年

8 朱红;基于MySQL集群实现的高性能数据库架构设计[D];上海交通大学;2014年

9 朱林;应用于网络监控系统的数据库设计与实现研究[D];东南大学;2015年

10 漆绍洋;基于mysql的分布式访问中间件中sql处理模块的设计与实现[D];南京大学;2016年

，

本文编号：624726