基于Hadoop的分布式视频处理

发布时间：2018-06-02 03:22

  本文选题：视频处理 + Hadoop　； 参考：《科研信息化技术与应用》2016年04期

【摘要】：中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过100GB的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的Hadoop平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于Hadoop的分布式视频处理的实现和基于HTCondor的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于Hadoop的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。
[Abstract]:The computer Network Information Center of the Chinese Academy of Sciences and the Qinghai Lake Reserve Administration have jointly built the Qinghai Lake Field Network Video Surveillance. How to efficiently deal with the daily output of more than 100GB video data has become a difficult problem. The current video processing system uses a separate architecture of computing and storage, which needs to be supported by a special server with high configuration. This paper makes a distributed implementation of video processing based on the Hadoop platform, which has good performance of cheap expansion. A distributed transcoding implementation for a single video file is presented. At the same time, the realization of distributed video processing based on Hadoop and batch processing of distributed video based on HTCondor are compared. The implementation of distributed video processing based on Hadoop has the advantages of distributed file system support, perfect task monitoring and so on.
【作者单位】： 中国科学院大学;中国科学院计算机网络信息中心;中国互联网络信息中心;
【基金】：国家自然科学基金(61361126011)
【分类号】：TP391.41

【参考文献】

相关期刊论文 前2条

1 谢慕哲;罗泽;阎保平;;视频鸟类行为研究中基于尺度不变特征变换的形态分类算法[J];科研信息化技术与应用;2014年03期

2 郭绍忠,黄永忠,余丽琼;机群作业管理系统Condor综述[J];信息工程大学学报;2004年01期

相关硕士学位论文 前1条

1 高东海;基于Hadoop的离线视频数据处理技术研究与应用[D];北京邮电大学;2014年

【共引文献】

相关期刊论文 前5条

1 卞涛;罗泽;马永征;;基于Hadoop的分布式视频处理[J];科研信息化技术与应用;2016年04期

2 邹杰;许涛;林茂;李铁;雷宏声;;基于PBS的勘探数据处理作业管理[J];计算机与现代化;2014年02期

3 李媛;张建林;张锐;宋凤珍;;集群作业管理系统SGE及其应用[J];计算机工程与设计;2009年12期

4 段新华;王宏勇;丁汨;;集群作业管理系统的关键技术分析及比较[J];计算机技术与发展;2009年02期

5 欧阳娅;孙瑞志;杨璐;;基于Condor的密集数据处理系统的实现[J];计算机应用;2007年S2期

相关硕士学位论文 前1条

1 罗新高;基于SimHash的海量视频检索研究[D];湘潭大学;2015年

【二级参考文献】

相关期刊论文 前4条

1 贾君霞;王小鹏;任恩恩;;基于全局特征的图像检索技术[J];自动化与仪器仪表;2011年01期

2 袁方;周志勇;宋鑫;;初始聚类中心优化的k-means算法[J];计算机工程;2007年03期

3 赵文彬;张艳宁;;角点检测技术综述[J];计算机应用研究;2006年10期

4 李荣陆,胡运发;基于密度的kNN文本分类器训练样本裁剪方法[J];计算机研究与发展;2004年04期

相关硕士学位论文 前1条

1 郭奕希;基于Hadoop的视频转码系统设计与实现[D];华中科技大学;2011年

【相似文献】

相关期刊论文 前10条

1 姜丹;张素卿;;视频处理在智能交通中的应用现状及发展趋势[J];电视技术;2013年S2期

2 王欣;视频处理三剑客[Pinnacle MovieBox DV/Dazzle Digital Video Creator150/SuperSonic梦幻制作大师][J];个人电脑;2003年07期

3 郭建伟;;视频处理讲技巧 玩出精彩咱有招[J];电脑爱好者;2012年23期

4 高翔;李琦;;视频处理与制作[J];科技信息(学术研究);2007年05期

5 李科;肖军;;程序优化在视频处理中的应用[J];中国新技术新产品;2011年10期

6 许保庚;;彩色摄像技术连载(六) 第六章 视频处理电路(一)[J];电视技术;1984年02期

7 毕伟;彭宗举;;一种新的深度视频处理方法[J];宁波大学学报(理工版);2013年02期

8 ;优秀的家庭视频处理解决方案[J];电脑采购周刊;1999年50期

9 金良磊;视频处理我能行——Windows movie maker实战技巧[J];电脑知识与技术;2005年19期

10 ;PrimeTime TV二合一卡[J];多媒体世界;1995年04期

相关会议论文 前4条

1 于生全;张荣辉;姜海滨;;基于空间应用的多通道视频处理电路研究[A];第二十三届全国空间探测学术交流会论文摘要集[C];2010年

2 赵文义;;浅谈多媒体音频视频处理实验设计[A];大珩先生九十华诞文集暨中国光学学会2004年学术大会论文集[C];2004年

3 李农;;超高清视频处理及拼接系统[A];2010全国LED显示应用技术交流暨产业发展研讨会文集[C];2010年

4 陈富权;;意大利VILLA医用X线电视视频处理电路分析与检修[A];中华医学会医学工程学分会第一次医学影像设备应用技术研讨会论文集[C];1999年

相关重要报纸文章 前10条

1 江苏 叶洪涛 徐进;电视发射机视频处理电路原理及维修[N];电子报;2009年

2 ericwarn;七嘴八舌话装机[N];中国电脑教育报;2004年

3 广西 赵俊明;七喜BL2015E彩显视频处理电路维修资料[N];电子报;2007年

4 梁红兵;康佳视讯：进军LED灯饰及背光源行业[N];中国电子报;2008年

5 ;最佳组合[N];电脑报;2005年

6 本报记者 冯健;3D视频处理：FPGA唱主角 ASIC急需标准[N];中国电子报;2010年

7 计算机世界实验室 吴挺;AMD的新武器[N];计算机世界;2009年

8 赵建;三款实用的视频处理工具[N];中国电脑教育报;2004年

9 广州 秦福忠;视频处理利器[N];电子报;2003年

10 爱测机;来自ARM的VPU与DPU[N];电脑报;2014年

相关博士学位论文 前3条

1 景巍;粒子滤波理论及其在视频处理中的应用研究[D];东北大学;2014年

2 刘坤杰;可配置可扩展媒体处理器设计[D];浙江大学;2007年

3 胡宏宇;基于视频处理的交通事件识别方法研究[D];吉林大学;2010年

相关硕士学位论文 前10条

1 黄绍荣;视频处理功能在线可配置的嵌入式摄像头软件系统设计[D];华南理工大学;2015年

2 ，

本文编号：1967140