海量视频人脸提取与识别并行框架设计及优化

发布时间：2018-08-05 18:17

【摘要】：为了实现海量视频数据的高效并行处理,将视频数据集解耦合实现任务的高并行度,通过Spark读取数据流的同时获取关键帧的方式解决了解耦视频数据引起数据倍增问题,并对图片特征数据进行优化,进而在Spark上实现了具有高可扩展性并行处理海量视频数据的框架。在天河二号云平台上进行部署实验,实验结果表明,随着处理节点个数增加,本框架可以获得近线性的加速比。
[Abstract]:In order to realize the efficient parallel processing of mass video data, the high parallelism of the task is realized by decoupling the video data set, and the problem of data multiplication caused by decoupling video data is solved by reading the data stream and obtaining the key frame by Spark. By optimizing the image feature data, the framework of parallel processing of massive video data with high scalability is implemented on Spark. The experimental results on the Tianhe-2 cloud platform show that with the increase of the number of nodes, the acceleration ratio of the proposed framework can be obtained with the increase of the number of nodes.
【作者单位】： 国防科学技术大学计算机学院;
【基金】：国家“863”计划资助项目(2013AA01A212)
【分类号】：TP391.41

【相似文献】

相关期刊论文 前10条

1 李萍;鲁艳萍;;视频转码技术的专利分析[J];电视技术;2013年S2期

2 严肃;陈启美;方怀东;;高速公路联网监控中异构视频转码技术实现[J];交通运输系统工程与信息;2008年02期

3 王海蓉;邢卫;鲁东明;;面向移动网络的实时视频转码系统[J];计算机工程;2009年03期

4 南湖秋水;;掌中影音伴侣:手机视频转码的智能帮手[J];网友世界;2010年16期

5 徐龙;;双B/S模式下解决交通违法视频证据管理的效率问题[J];交通标准化;2014年05期

6 吕卓逸;贾克斌;萧允治;;低复杂度的快速降尺寸视频转码算法[J];通信学报;2012年01期

7 赵新峰;王恒;;一种基于感兴趣区域元数据的视频转码方案[J];计算机与现代化;2012年09期

8 鄢欣萌;何小海;曾强宇;吕瑞;;基于SVC码流自适应机制的视频转码技术[J];电视技术;2010年01期

9 钱少先;关于并行计算的若干问题[J];安庆师范学院学报(自然科学版);2001年02期

10 吴刚,王怀民,毛新军;可成长的分布式系统[J];计算机工程与科学;2005年03期

相关会议论文 前10条

1 许赵云;黄林鹏;;分布式系统动态更新的研究[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年

2 殷跃鹏;郭长国;李小玲;王怀民;;基于事件的分布式系统行为分析框架[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

3 王晓鹏;苏亮;韩伟红;周斌;;大型分布式系统部署一致性的研究与实现[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

4 何明;裘杭萍;杨飞;刘勇;;基于可信分布式系统的可信认证技术研究[A];全国计算机安全学术交流会论文集（第二十三卷）[C];2008年

5 张理涛;黄廷祝;谷同祥;左宪禹;;一种适合于分布式并行计算改进的平方共轭残差法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

6 宋庭新;李慧;;面向服务的有限元并行计算网格系统设计[A];湖北省机械工程学会设计与传动学会、武汉机械设计与传动学会2008年学术年会论文集（2）[C];2008年

7 谭荣乐;袁国兴;刘兴平;;高性能数值并行计算程序的移植[A];中国工程物理研究院科技年报（1999）[C];1999年

8 张亚林;石正军;黄清南;李丽娟;;纯几何光线追迹的数值并行计算[A];中国工程物理研究院科技年报（2003）[C];2003年

9 郭力;秦东明;江鹰;易锋;葛蔚;李静海;;并行计算在粒子方法模拟中的应用[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

10 石虎;熊健民;宋庭新;;全主元高斯消去法在有限元并行计算中的应用[A];湖北省机械工程学会设计与传动学会、武汉机械设计与传动学会2008年学术年会论文集（2）[C];2008年

相关重要报纸文章 前4条

1 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年

2 曙光信息产业有限公司研发中心 温鑫;并行计算软件开发概述[N];中国计算机报;2007年

3 抚苏;大数据带来价值[N];电脑报;2013年

4 刘琦;伯克利专家展望未来并行计算[N];中国计算机报;2008年

相关博士学位论文 前10条

1 曹海傧;海量视频的分布式协作处理与检索研究[D];中国科学技术大学;2013年

2 孙安香;数值气象预报变分同化的伴随模式并行计算[D];中国人民解放军国防科学技术大学;2002年

3 张理论;面向气象预报数值模式的高效并行计算研究[D];中国人民解放军国防科学技术大学;2002年

4 郑红;分布式系统形式化建模技术研究[D];中国科学院研究生院（软件研究所）;2003年

5 龙柏;并行计算平台上的数据索引技术研究[D];中国科学技术大学;2011年

6 王德俊;面向服务的分布式系统动态更新研究[D];上海交通大学;2010年

7 张帆;过程系统优化的分布式并行计算[D];浙江大学;2002年

8 陈晓江;分布式系统软件体系结构建模与开发方法研究[D];西北大学;2010年

9 刘寿生;虚拟现实仿真平台异构并行计算关键技术研究[D];中国海洋大学;2014年

10 何盼;面向可靠性优化设计的分布式系统资源分配研究[D];重庆大学;2012年

相关硕士学位论文 前10条

1 连序全;基于Hadoop平台的视频拷贝检测研究[D];山东大学;2015年

2 宋扬;基于Hadoop的视频转码优化的研究[D];吉林大学;2016年

3 胡琼;基于Hadoop的视频侦查辅助平台的设计与实现[D];东南大学;2016年

4 张巍;警务图像侦查系统的设计与实现[D];华南理工大学;2016年

5 梁仕昌;在线流媒体视频播放系统设计及实现[D];华南理工大学;2016年

6 朱慧;基于C66AK多核处理器的H.264到HEVC视频转码软件设计[D];浙江工业大学;2016年

7 罗瑞;AVS到HEVC高效视频转码技术[D];上海交通大学;2015年

8 杨军杰;面向云平台的视频摘要技术的研究与实现[D];北京邮电大学;2014年

9 彭华聪;基于Hadoop的视频摘要的设计与实现[D];华南理工大学;2013年

10 张国庆;基于FFmpeg的视频转码与保护系统的设计与实现[D];华中师范大学;2011年

，

本文编号：2166598