基于事件密集度的交通监控视频存储方法

发布时间：2018-05-28 12:38

  本文选题：交通监控视频 + HDFS　； 参考：《计算机科学》2015年05期

【摘要】：利用HDFS进行大规模交通监控视频的存储和处理是一种可靠、高效、可扩展的数据存储方案。针对HDFS默认的机架感知策略可能造成存储热点这一问题,提出了一种基于事件密集度的交通监控视频放置策略。该策略利用交通视频可按事件类型进行分类这一特征,在数据放置时将数据节点中已存储的各类型的事件视频可能对其造成的负载作为节点的主要评价因素之一,同时结合节点的实时负载、磁盘容量等因素进行综合评价,选择最佳的数据放置节点,从而平衡数据节点的负载。实验表明,基于事件密集度的交通监控视频放置策略可以改善数据节点的吞吐量,提高存储系统性能。
[Abstract]:The storage and processing of large-scale traffic surveillance video using HDFS is a reliable, efficient and extensible data storage scheme. Aiming at the problem that HDFS's default rack awareness strategy may cause storage hot spots, a traffic surveillance video placement strategy based on event intensity is proposed. The strategy takes advantage of the fact that traffic video can be classified by event type, and takes the load caused by each type of event video stored in the data node as one of the main evaluation factors when the data is placed. At the same time, combined with the real-time load of the node, disk capacity and other factors for comprehensive evaluation, select the best data placement node, so as to balance the load of the data node. Experiments show that the traffic surveillance video placement strategy based on event intensity can improve the throughput of data nodes and improve the performance of storage system.
【作者单位】： 同济大学计算机科学与技术系;同济大学嵌入式系统与服务计算教育部重点实验室;
【基金】：科技部国际合作专项(2012DFG11580)资助
【分类号】：TP333

【参考文献】

相关期刊论文 前6条

1 王国锋;宋鹏飞;张蕴灵;;智能交通系统发展与展望[J];公路;2012年05期

2 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

3 徐骁勇;潘郁;丁燕艳;;基于灰色马尔可夫链预测模型的HDFS云存储副本选择策略[J];计算机应用;2011年S2期

4 刘琨;钮文良;;一种改进的Hadoop数据负载均衡算法[J];河南理工大学学报(自然科学版);2013年03期

5 武文斌;;视频监控云存储模型设计[J];山西科技;2012年03期

6 张庆华;;云存储技术在视频监控中的发展与应用[J];中国安防;2013年08期

【共引文献】

相关期刊论文 前10条

1 武娟;黄海;钱锋;李拥军;寿质彬;;基于多变量动态算法的Hadoop负载均衡优化与实现[J];电信科学;2012年12期

2 常屹冉;郭炳辉;陈军;李汉彬;;基于GIS的公路信息更新管理平台的设计和实现[J];地理空间信息;2013年01期

3 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

4 孙成强;Yongseong Cho;Jongsun Choi;Jaeyoung Choi;;Towards delivery of situational information in distributed environments[J];Journal of Measurement Science and Instrumentation;2013年03期

5 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

6 马飞;;多云工作流优化传输费用的数据布局策略[J];电脑知识与技术;2014年10期

7 刘鹏曦;许王燕;;一种冗余地理数据存储系统[J];大众科技;2014年01期

8 席丹;;交通系统计算机的应用现状与对策探索[J];产业与科技论坛;2014年09期

9 杨关建;华泽玺;杨彬;;Hadoop平台在智能变电站中的应用研究[J];电源技术应用;2014年03期

10 李月娥;申海洋;;车辆交通事故视频监测算法研究[J];测试技术学报;2014年04期

相关会议论文 前4条

1 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

2 冯小梅;刘怡君;;云存储技术的现状分析与发展趋势[A];广西计算机学会2014年学术年会论文集[C];2014年

3 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

4 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

相关博士学位论文 前10条

1 杨永全;饮食健康中的食物体积估算云计算技术研究[D];中国海洋大学;2013年

2 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

3 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

4 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

5 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

6 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

7 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年

8 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

9 吴和生;云计算环境中多核多进程负载均衡技术的研究与应用[D];南京大学;2013年

10 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

相关硕士学位论文 前10条

1 宋娅菲;基于竞标模式的云存储副本放置策略研究[D];华中师范大学;2012年

2 陈聪;基于云存储的视频监控平台[D];华南理工大学;2012年

3 鲁志华;杭州市拱墅区交通资源整合优化研究[D];浙江大学;2013年

4 孙浩川;模型库系统中工作流与数据存储机制研究[D];华中科技大学;2012年

5 吕培培;云计算环境的数据存储管控技术研究[D];北方工业大学;2013年

6 毛宇;面向移动云计算的数据安全保护技术研究[D];广东工业大学;2013年

7 董其文;基于HDFS的小文件存储方法的研究[D];大连海事大学;2013年

8 庄共波;智能交通系统中的地图路况服务研究与实现[D];北京邮电大学;2013年

9 宋彩华;云资源监控中的数据传输模型研究[D];郑州大学;2013年

10 党希望;基于主次种群蚁群算法的动态路径优化研究[D];西南交通大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期

2 张龙立;;云存储技术探讨[J];电信科学;2010年S1期

3 李峰;智能交通系统在国外的发展趋势[J];国外公路;1999年01期

4 林伟伟;齐德昱;刘波;;基于资源融合的网格任务调度模型与算法[J];华南理工大学学报(自然科学版);2008年01期

5 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

6 谷国太;肖汉;;并行计算与并行处理技术的应用研究[J];河南理工大学学报(自然科学版);2009年05期

7 蔡明,任绮年,易剑光;视频监控系统中的视频存储系统的设计与实现[J];江南大学学报;2003年02期

8 栾亚建;黄烂，

本文编号：1946729