数字标准平台中海量时空小文件合并策略研究

发布时间：2018-06-07 04:18

  本文选题：数字标准平台 + HDFS　； 参考：《计算机应用研究》2014年11期

【摘要】：针对HDFS处理时空小文件效率不高的问题,从用户的访问规律和访问数据自身属性这两者之间的相关性上出发,将用户访问流看成对数据文件的请求序列,然后根据数据的时空属性参数化表示,并利用特征提取构建一个新的特征序列,最后通过序列模式挖掘PrefixSpan算法找到用户在不同访问模式下的特征模板,合并相关文件。实验结果表明,该合并策略有效地降低了NameNode内存占用率和响应时间,提高了读取效率。
[Abstract]:In order to solve the problem of inefficient processing of small spatio-temporal files by HDFS, the user access flow is regarded as a request sequence of data files from the correlation between user access rules and access data properties. Then, according to the parameterized representation of spatio-temporal attributes of data, a new feature sequence is constructed by feature extraction. Finally, the feature templates of users under different access modes are found by PrefixSpan algorithm of sequential pattern mining, and the related files are merged. Experimental results show that the proposed merging strategy can effectively reduce the NameNode memory occupancy and response time, and improve the reading efficiency.
【作者单位】： 湖北省标准化研究院;武汉大学测绘遥感信息工程国家重点实验室;
【基金】：国家自然科学基金资助项目(61263040,61075015)
【分类号】：TP333

【参考文献】

相关期刊论文 前3条

1 李德仁,李清泉,谢智颖,朱欣焰;论空间信息与移动通信的集成应用[J];武汉大学学报(信息科学版);2002年01期

2 余思;桂小林;黄汝维;庄威;;一种提高云存储中小文件存储效率的方案[J];西安交通大学学报;2011年06期

3 马灿;孟丹;熊劲;;曙光星云分布式文件系统:海量小文件存取[J];小型微型计算机系统;2012年07期

【共引文献】

相关期刊论文 前10条

1 史俊明;李精忠;;“3S”技术在“数字航道—监控与管理系统”中的应用[J];安徽农学通报;2007年23期

2 邱冬生,庄大方,黄小虎,王勇;特种设备安全监察地理信息系统设计[J];安全与环境学报;2005年02期

3 王涛,张永生,张艳;移动空间信息服务系统的研究与实现[J];测绘工程;2005年02期

4 宁永香;刘召芹;谢彩香;;基于空间认知理论的移动导航电子地图设计[J];测绘工程;2007年02期

5 马丹;郭泽金;;基于PDA的电力设施数据采集与线路巡检系统的设计与实现[J];测绘工程;2007年05期

6 周隽;花向红;涂伟;李昭;;基于移动GIS的小型移动应急平台的设计和实现[J];测绘工程;2008年02期

7 何兵;童小华;戴华阳;王圭;;基于.NET的移动GIS设计与关键技术[J];测绘工程;2008年06期

8 李德仁;论天地一体化的大测绘——地球空间信息学[J];测绘科学;2004年03期

9 林卉,赵长胜,金继读;从现代测绘技术发展谈测绘继续教育[J];测绘科学;2005年03期

10 王继周,李成名;嵌入式移动GIS研究[J];测绘科学;2005年04期

相关会议论文 前9条

1 许志海;崔铁军;吴正升;;车辆自导航系统的一般性问题探讨[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年

2 李德仁;;地球空间信息学的机遇[A];中国地理信息系统协会第八届年会论文集[C];2004年

3 王方雄;边馥苓;侯英姿;;移动空间信息服务的应用模式研究[A];中国地理信息系统协会第八届年会论文集[C];2004年

4 崔铁军;卢松杰;;GPS车辆监控系统网络化模式的研究[A];中国地理信息系统协会第八届年会论文集[C];2004年

5 许志海;张昭云;王佑武;;可扩展车辆监控系统的探讨与设计[A];中国地理信息系统协会第八届年会论文集[C];2004年

6 谌新年;罗瑜;欧阳湘江;;基于BREW平台的LBS系统的设计[A];第四届中国软件工程大会论文集[C];2007年

7 王西点;马华兴;;移动位置服务发展的关键问题分析[A];2007年中国通信学会“移动增值业务与应用”学术年会论文集[C];2007年

8 郭晓艳;胡社教;;浅析GPRS技术的应用[A];'2006系统仿真技术及其应用学术交流会论文集[C];2006年

9 付永恒;;北斗卫星导航系统应用于LBS的机遇与挑战[A];第五届中国卫星导航学术年会论文集-S1 北斗/GNSS导航应用[C];2014年

相关博士学位论文 前10条

1 宁安良;面向3G终端的移动地理信息服务研究[D];中国海洋大学;2010年

2 钟海东;基于地理本体的移动GIS空间信息服务研究[D];华东师范大学;2011年

3 吴长伟;森林监护移动GIS及火灾扑救设备调度关键技术研究[D];东北林业大学;2011年

4 刘有贵;GPS/GPRS车辆定位网络系统及故障在线检测技术研究[D];长春理工大学;2011年

5 张伟;数字农业空间信息管理平台开发研究[D];华东师范大学;2004年

6 叶雷;基于MAS体系的移动GIS集成服务研究[D];华东师范大学;2004年

7 陈飞翔;移动空间信息服务关键技术研究[D];中国科学院研究生院（遥感应用研究所）;2006年

8 戚铭尧;面向物流的空间信息服务及其关键技术研究[D];中国科学院研究生院（遥感应用研究所）;2006年

9 谢彩香;LBS移动终端导航电子地图设计与实现[D];山东科技大学;2006年

10 张海堂;空间信息移动服务模型、算法与传输技术研究[D];解放军信息工程大学;2005年

相关硕士学位论文 前10条

1 毕军芳;基于开放式构架的移动空间信息服务模块的设计与实现[D];山东农业大学;2010年

2 刘峗;林业位置服务（LBS）系统构建技术研究[D];北京林业大学;2011年

3 孟继军;基于LBS的车辆管理系统的研究[D];电子科技大学;2010年

4 魏震方;网络导航服务中数据传输技术的方法研究[D];解放军信息工程大学;2009年

5 许敬伟;LBS系统中基于WLAN的无线定位技术研究[D];华中科技大学;2011年

6 林旭;云存储中的数据删除技术研究[D];上海交通大学;2011年

7 苗甫;移动终端位置服务系统的研究与实现[D];国防科学技术大学;2011年

8 田涛;基于GIS的公路路况巡查管理系统的设计与实现[D];天津大学;2012年

9 南志文;一种城市应急智能决策系统的研究与实践[D];东华大学;2012年

10 蒋建杰;移动GIS在配电网现场工程设计中的应用研究[D];浙江大学;2012年

【二级参考文献】

相关期刊论文 前4条

1 马立平;统计数据标准化──无量纲化方法──现代统计分析方法的学与用(三)[J];北京统计;2000年03期

2 李德仁,李清泉;论地球空间信息技术与通信技术的集成[J];武汉大学学报(信息科学版);2001年01期

3 刘立坤;武永卫;徐鹏志;杨广文;;CorsairFS:一种面向校园网的分布式文件系统[J];西安交通大学学报;2009年08期

4 李满春,陈奇,周炎坤,李响;基于空间数据引擎的企业化GIS数据组织与处理[J];中国图象图形学报;2000年03期

【相似文献】

相关期刊论文 前10条

1 龚惠群,黄超,彭江平;具有双时间维约束的股票序列模式挖掘[J];计算机工程;2003年20期

2 许兆新,郝燕玲;约束在序列模式挖掘中的应用研究[J];计算机工程与应用;2004年05期

3 马帅,唐世渭,杨冬青,王腾蛟,高军;移动环境中的最大移动序列模式挖掘(英文)[J];北京大学学报(自然科学版);2004年03期

4 孙晓冬;一种基于χ~2测试的序列模式挖掘算法[J];辽宁大学学报(自然科学版);2004年02期

5 祝效普,梁洪峻;序列模式挖掘在网络业务流分析中的应用[J];计算机应用;2004年08期

6 管恩政,周春光,王U，

本文编号：1989731