面向移动通信大数据的云存储系统优化

发布时间：2019-01-02 16:13

【摘要】：移动通信大数据对底层云存储系统提出了三大苛刻的需求:高性能、高可靠、低成本,但是通用云存储系统无法满足移动通信业务的现实需求。针对三大需求,提出对应的三项优化技术:面对高性能需求,提出一种小文件读写访问性能优化技术;面对高可靠需求,提出一种日志写入与回放优化技术;面对低成本需求,提出一种固态硬盘垃圾回收优化技术。相关测试表明,在典型的移动通信大数据应用场景中,相较于优化前,性能最多提升54%,平均提升27%~37%;可靠性处理效率最多提升67%,平均提升18%~22%;成本最多降低80%,平均降低26%~42%。
[Abstract]:Big data has put forward three demanding requirements for the underlying cloud storage system: high performance, high reliability and low cost, but the general cloud storage system can not meet the actual needs of mobile communication services. In view of the three major requirements, three corresponding optimization techniques are proposed: in the face of high performance requirements, a small file read-write access performance optimization technology is proposed, and a log write and playback optimization technology is proposed in the face of high reliability requirements. In the face of low cost demand, a solid state hard disk garbage collection optimization technology is proposed. The relevant tests show that in typical mobile communication big data application scenarios, the performance is up to 54, and the average increase is 2737, while the reliability processing efficiency is increased by 67 percent, and the average increase by 18 percent. The cost is reduced by up to 80, and the average is reduced by 26 and 42.
【作者单位】： 中兴通讯股份有限公司南京研发中心;清华大学计算机科学与技术系;甲骨文软件研究开发中心(北京)有限公司南京分公司;南京邮电大学计算机学院;
【基金】：国家科技重大专项(2013ZX03002004-003) 江苏省创新能力建设专项资金资助项目(BM2015008) 江苏省自然科学基金青年基金资助项目(BK20130876)
【分类号】：TP333

【参考文献】

相关期刊论文 前3条

1 曾嘉;刘诗凯;袁明轩;;电信大数据关键技术挑战[J];大数据;2016年03期

2 周江;王伟平;孟丹;马灿;古晓艳;蒋杰;;面向大数据分析的分布式文件系统关键技术[J];计算机研究与发展;2014年02期

3 沈青;董波;肖德宝;;基于服务器集群的云监控系统设计与实现[J];计算机工程与科学;2012年10期

相关博士学位论文 前3条

1 黄平;基于固态盘特征的存储优化研究[D];华中科技大学;2013年

2 王禹;分布式存储系统中的数据冗余与维护技术研究[D];华南理工大学;2011年

3 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院（成都计算机应用研究所）;2006年

相关硕士学位论文 前1条

1 王敬轩;分布式文件系统存储效率优化研究[D];华中科技大学;2013年

【共引文献】

相关期刊论文 前10条

1 杨洪章;罗圣美;施景超;王志坤;季一木;;面向移动通信大数据的云存储系统优化[J];计算机应用;2017年S1期

2 张乐;;基于大数据的分布式中压配电网空间负荷分配方法研究[J];科学技术与工程;2017年15期

3 朱嘉舟;邵培南;陈景;;影像数据分布并行计算处理平台体系架构研究[J];计算机工程;2017年05期

4 程滔;;遥感影像样本大数据建库与应用方法[J];计算机系统应用;2017年05期

5 莫国柱;高鹏;于国际;;基于海量数据下的分布式IT资产安全监测分析[J];自动化与仪器仪表;2017年04期

6 万歆;朱立峰;左铭;姚晴虹;;预约挂号及违约情况数据分析[J];中国卫生信息管理杂志;2017年02期

7 田肖;;基于流量高峰预警机制的云平台监控系统[J];电子技术与软件工程;2017年05期

8 汪保友;钱晶;袁时金;;基于Hadoop的电信大数据采集方案研究与实现[J];电信科学;2017年01期

9 姚雪梅;李少波;璩晶磊;陈伟兴;;制造大数据相关技术架构分析[J];电子技术应用;2016年11期

10 高爱莲;刘增磊;刘中艳;;高可用集群系统的研究[J];信息系统工程;2016年10期

相关博士学位论文 前10条

1 李红艳;针对固态盘的I/O优化技术研究[D];华中科技大学;2016年

2 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

3 石伟;基于闪存特性的存储优化及应用研究[D];清华大学;2015年

4 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

5 刘应波;太阳望远镜海量数据存储关键技术研究[D];中国科学院研究生院（云南天文台）;2014年

6 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

7 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年

8 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

9 肖宜龙;随机化数据冗余方法及其在存储系统中的应用[D];电子科技大学;2013年

10 王禹;分布式存储系统中的数据冗余与维护技术研究[D];华南理工大学;2011年

相关硕士学位论文 前4条

1 莫飞;P2P分布式存储系统效率优化研究[D];重庆大学;2016年

2 李剑;基于纠删码的分布式分层存储系统研究[D];华中科技大学;2015年

3 张学山;基于云计算的海量球形地形数据处理方法的研究[D];电子科技大学;2015年

4 董怀普;面向智能电网云存储的容错存储技术研究[D];华北电力大学;2015年

【二级参考文献】

相关期刊论文 前5条

1 蓝友枢;陈健;张章学;;主动式服务器管理技术研究[J];情报探索;2011年05期

2 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期

3 安俊秀;;基于服务器集群的云检索系统的研究与示范[J];计算机科学;2010年07期

4 王珊;肖艳芹;刘大为;覃雄派;;内存数据库关键技术研究[J];计算机应用;2007年10期

5 熊劲,范志华,马捷,唐荣锋,李晖,孟丹;DCFS2的元数据一致性策略[J];计算机研究与发展;2005年06期

相关博士学位论文 前8条

1 胡洋;高性能固态盘的多级并行性及算法研究[D];华中科技大学;2012年

2 毛波;盘阵列的数据布局技术研究[D];华中科技大学;2010年

3 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

4 周婧;P2P分布存储系统中海量数据的数据一致性维护技术研究[D];国防科学技术大学;2007年

5 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院（成都计算机应用研究所）;2006年

6 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年

7 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年

8 黄遵国;面向生存能力的应急响应与事故恢复技术研究[D];国防科学技术大学;2003年

【相似文献】

相关期刊论文 前10条

1 罗金明;湖北农村移动通信现状及发展措施[J];湖北邮电技术;2000年02期

2 陶雄强;民族企业发展3G移动通信之思考[J];通信世界;2000年16期

3 ;移动通信又逢革命时[J];数字通信;2000年10期

4 陈丽珊;亚信移动通信反欺诈系统[J];通讯世界;2000年08期

5 ;北京将举办“中国国际移动通信与网络展”[J];中国数据通讯网络;2000年12期

6 ;中国移动通信集团2000年发展大计[J];移动通信;2000年01期

7 ;一个极具发展空间和潜力的通信传媒《移动通信》诚征合作伙伴[J];移动通信;2000年02期

8 ;江西移动通信率先推出新华社快讯声讯服务[J];移动通信;2000年04期

9 ;国家移动通信设备研发招标会召开[J];邮电商情;2000年20期

10 杨冬梅;浅议移动通信的起源及在我国我市的发展[J];甘肃科技;2001年02期

相关会议论文 前10条

1 ;《移动通信》[A];2005'全国微波毫米波会议论文集（第一册）[C];2006年

2 蒋同泽;;陆上移动通信的展望[A];IEEE北京分会第一届学术年会论文集[C];1987年

3 邓文东;曾钦海;;卫星定位及移动通信技术在物流方面的应用[A];2004年中国机械工程学会年会论文集：物流工程与中国现代经济——第七届物流工程学术年会专辑[C];2004年

4 王非;吕召彪;;机载移动通信技术及其应用研究[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 酆广增;;移动通信的技术发展[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年

6 ;第三届中国(北京)移动通信国际论坛技术总结(摘要)[A];中国通信学会学术会议总结汇编（一）[C];2003年

7 刘学观;汪一鸣;;移动通信课程教学改革与实践[A];电子高等教育学会2004年学术年会论文集[C];2004年

8 邓文东;曾钦海;;卫星定位及移动通信技术在物流方面的应用[A];人才、创新与老工业基地的振兴——2004年中国机械工程学会年会论文集[C];2004年

9 ;广东移动通信有限责任公司珠海分公司[A];实践与思考——二OO四学会文集[C];2004年

10 郭恒平;;浅谈移动IP技术与移动通信[A];2005年安徽通信论文集[C];2006年

相关重要报纸文章 前10条

1 宋学龙;黑龙江移动通信[N];黑龙江日报;2004年

2 郑立琪 本报记者 王燕宁;尤肖虎：让我国移动通信有发言权[N];科技日报;2004年

3 □东南大学移动通信国家重点实验室主任尤肖虎○本报记者　王芳;移动通信产业江苏大有可为[N];江苏经济报;2006年

4 陈俊璧;未来十年移动通信的变革[N];中国电子报;2001年

5 ;营销与“我能”[N];大众科技报;2005年

6 爱立信总裁兼首席执行官 柯德川;北京要优先发展移动通信[N];光明日报;2001年

7 包国新;信威集团布局移动通信安全业务[N];人民邮电;2014年

8 湖南省人民政府副省长 郑茂清;发展移动通信促进人类沟通[N];湖南日报;2003年

9 孙晓胜;我国成为世界规模最大移动通信市场[N];经济参考报;2002年

10 记者 康玉虹;关注绿色环保网络[N];吉林日报;2002年

相关博士学位论文 前10条

1 王恒;混能供电移动通信网络的节能方法研究[D];重庆大学;2015年

2 童恩;LTE移动通信系统能效优化关键技术研究[D];东南大学;2015年

3 王延明;从牛马载信到移动通信[D];兰州大学;2010年

4 邓映峰;天津移动通信市场非线性预测及面向3G的发展策略研究[D];天津大学;2007年

5 游思晴;平流层CDMA移动通信蜂窝网的性能研究[D];北京邮电大学;2012年

6 刘志鹏;移动通信数据挖掘关键应用技术研究[D];南京航空航天大学;2015年

7 韩科锋;应用于2G/3G移动通信的多模发射机芯片的研究[D];复旦大学;2011年

8 贺黎滔;基于移动通信网络的高精度定位关键技术研究[D];北京邮电大学;2010年

9 杨霖;移动通信中快速算法的研究[D];南京理工大学;2007年

10 张立新;基于客户的移动通信品牌资产模型及影响机理研究[D];北京邮电大学;2011年

相关硕士学位论文 前10条

1 隋昌鹏;移动通信技术的伦理问题研究[D];吉林大学;2010年

2 党永亮;大数据分析在移动通信网络优化中的应用研究[D];华中师范大学;2015年

3 杨华;高速移动通信场景下基于LTE-A中继系统的资源调度关键技术研究[D];上海交通大学;2015年

4 陆建飞;移动通信中电波传播预测方法与软件应用[D];电子科技大学;2014年

5 张旭;TDD-LTE仿真系统的设计与实现[D];电子科技大学;2015年

6 陈博;移动通信网络全生命周期的资源配置研究[D];北京邮电大学;2015年

7 徐东建;基于移动通信数据处理的公安流动人口管理系统设计与实现[D];电子科技大学;2014年

8 郭欢;基于Agents的移动通信市场管制设计研究[D];东北大学;2013年

9 王镭;移动通信大话务场景下多网协同保障技术及其应用研究[D];南京邮电大学;2014年

10 何志;新余市公众移动通信站址布局专项规划[D];南京邮电大学;2015年

，

本文编号：2398707