面向流媒体的Hadoop调度策略研究

发布时间：2018-03-09 15:10

  本文选题：流媒体　切入点：Hadoop　出处：《小型微型计算机系统》2014年04期 　论文类型：期刊论文

【摘要】：流媒体数据的分布式处理的研究在流媒体处理领域具有重要的意义,电信网、广播电视网、计算机通信网的不断融合促进了媒体数据的广泛传播,随着数据量的不断增大数据处理的速度变慢,而传统的多处理器并行计算难以满足海量流媒体数据的并发处理需求.使用当前流行的开源分布式处理系统Hadoop对流媒体数据进行分布式计算将大大提高流媒体数据的处理速度,虽然Hadoop常用于大数据企业类业务数据处理,但其对实时数据处理支持较差.因此对Hadoop的调度和负载策略进行研究,通过改进Hadoop的实时调度和负载均衡策略,使其可以满足流媒体处理的实时性、并发性和处理速度的要求.实验结果表明提出的算法和策略使得Hadoop能很好的适应实时流媒体的处理,减少了处理的时间.
[Abstract]:The research on distributed processing of streaming media data is of great significance in the field of streaming media processing. The continuous integration of telecommunication network, radio and television network and computer communication network promotes the wide dissemination of media data. As the amount of data increases, the speed of data processing slows down, However, traditional multi-processor parallel computing can not meet the requirement of concurrent processing of mass streaming media data. Using Hadoop, a popular open source distributed processing system, to process streaming media data will greatly improve the processing speed of streaming media data. Although Hadoop is often used in big data enterprise business data processing, its support for real-time data processing is poor. Therefore, the scheduling and load strategy of Hadoop is studied, and the real-time scheduling and load balancing strategy of Hadoop is improved. The experimental results show that the proposed algorithm and strategy can adapt to the real-time streaming media processing and reduce the processing time.
【作者单位】： 中国科学技术大学自动化系网络传播系统与控制安徽省重点实验室;
【基金】：中央高校基本科研业务费专项资金项目(WK2100100012)资助
【分类号】：TP338.8

【参考文献】

中国期刊全文数据库 前7条

1 韦乐平;;三网融合与IPTV的发展和挑战[J];电信科学;2006年07期

2 韦乐平;;三网融合的思考[J];电信科学;2010年03期

3 李颖;魏颖琪;谭华;黄粤;;2G语音通信和3G视频业务融合探讨[J];电信科学;2010年03期

4 朱海毅,周春楠;VoIP基本原理[J];信息技术;2003年05期

5 刘党辉,沈兰荪;DSP芯片及其在图像技术中的应用[J];测控技术;2001年05期

6 房胜,钟玉琢;分布式视频编解码技术的研究进展[J];计算机工程与应用;2005年21期

7 杨帆;沈奇威;;分布式系统Hadoop平台的视频转码[J];计算机系统应用;2011年11期

【共引文献】

中国期刊全文数据库 前10条

1 周渝斌,赵跃进,刘明,王旭宇;基于C6711 DSP的实时数字稳像系统[J];北京理工大学学报;2004年05期

2 袁超伟;张金波;姚建波;;三网融合的现状与发展[J];北京邮电大学学报;2010年06期

3 卢志宏;;网络融合趋势下中国电信业市场需求与集中[J];重庆大学学报(社会科学版);2010年04期

4 孙志辉;;Mini CMTS与EOC在竞争中发展[J];中国传媒科技;2012年06期

5 宋燕辉;;基于三网融合环境下的移动网络解决方案[J];长沙大学学报;2011年02期

6 娄银霞;常村红;;IPTV在我国发展产生的问题与对策[J];太原城市职业技术学院学报;2012年06期

7 赵俊梅;林祥德;;DSP芯片在数字图像处理中的应用[J];滁州学院学报;2008年03期

8 董爱军;;湖北省三网融合发展现状、问题及对策[J];当代经济;2011年11期

9 杨宗林;张治中;唐希熙;;基于NGN网络语音质量测量的探讨[J];电信工程技术与标准化;2007年05期

10 刘少宁;王锦龙;;面向三网融合的广电网络发展探讨[J];电信工程技术与标准化;2010年07期

中国重要会议论文全文数据库 前2条

1 尚朝勇;;临汾电信CDMA网络优化研究分析[A];2011全国无线及移动通信学术大会论文集[C];2011年

2 徐蕾;陈金鹰;朱军;;未来通信网络的讨论[A];四川省通信学会2012年学术年会论文集[C];2012年

中国博士学位论文全文数据库 前10条

1 王立众;移动VoIP中语音质量增强关键技术研究[D];北京邮电大学;2011年

2 沈剑;我国三网融合上下游产业有效竞争关系研究[D];北京邮电大学;2011年

3 柯丽;基于小波变换的空间遥感图像实时压缩方法研究[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2005年

4 徐欣锋;一种适应大数据量遥感图像的星上实时压缩方法[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2006年

5 赖昌材;基于模糊度量的视频编解码关键技术研究[D];西北工业大学;2006年

6 徐晓秋;机器视觉球面孔位快速精密测量系统的研究[D];四川大学;2006年

7 胡曦明;有效支持IPTV业务的扇出无关交换结构[D];解放军信息工程大学;2007年

8 王安红;分布式视频编码研究[D];北京交通大学;2009年

9 盛涛;无反馈分布式视频编码的码率分配与传输策略研究[D];华中科技大学;2010年

10 国玫;分布式视频编码关键技术的研究[D];哈尔滨工业大学;2010年

中国硕士学位论文全文数据库 前10条

1 杨伟娜;基于DSP的视频压缩编码MPEG-4算法研究[D];长春工业大学;2010年

2 张国平;IPTV业务差异化保障系统的应用研究[D];南昌大学;2010年

3 陈存英;分布式视频编码中的解码器运动估计算法研究[D];西安电子科技大学;2010年

4 刘涛;眼动跟踪技术的研究及优化实现[D];西安电子科技大学;2011年

5 张超;三网融合趋势下广电媒介发展研究[D];兰州大学;2011年

6 李英;VoWLAN的QoS优化和漫游切换研究[D];中南大学;2011年

7 刘恋;论三网融合中垄断行为的法律规制[D];中南大学;2011年

8 石利军;基于IMS的P2P网络电视系统架构的研究[D];中南大学;2011年

9 张兴绍;分布式视频编码中边信息生成算法研究[D];华南理工大学;2011年

10 陈悦晖;基于分布式编码的图像内容认证算法研究[D];华南理工大学;2011年

【二级参考文献】

中国期刊全文数据库 前3条

1 陈健;DSP技术促进现代电子产业发展[J];电子产品世界;1999年07期

2 杨戈;廖建新;朱晓民;樊秀梅;;流媒体分发系统关键技术综述[J];电子学报;2009年01期

3 刘峰,朱秀昌;会议电视技术的发展及应用[J];通讯世界;2000年06期

【相似文献】

中国期刊全文数据库 前10条

1 ;“速度”彰显价值 HEIRO构架“流媒体高速公路”[J];计算机与网络;2008年10期

2 石旭利,方勇,张颖;基于TMS320C6000和流媒体的研究生实验教学研究[J];实验室研究与探索;2005年03期

3 夏东盛;;流媒体刻录技术研究[J];科技咨询导报;2007年08期

4 夏东盛;胡展飞;李受国;;流媒体刻录技术研究[J];科技咨询导报;2007年01期

5 ;便携式影院,本本做得到![J];电脑与电信;2005年07期

6 王茂良;;流媒体点播服务器磁盘阵列特殊故障的处理[J];中国有线电视;2010年01期

7 夏建洲;网络流媒体服务器[J];有线电视技术;2001年17期

8 贺松;陆安江;张正平;;农村信息化建设中IPTV系统存储技术研究与应用[J];贵州农业科学;2009年06期

9 吴坚;;基于进程间通信的通用实时嵌入式组件集成调度框架[J];中国西部科技;2009年16期

10 杨伟洲;如何利用流媒体制作VCD影片[J];电脑知识与技术;2003年15期

中国重要会议论文全文数据库 前4条

1 夏建洲;;网络流媒体服务器[A];中国电影电视技术学会影视科技论文集[C];2002年

2 南凯;董科军;阎保平;;超级服务器平台上的高性能流媒体技术研究[A];全国计算机网络应用年会论文集（2001）[C];2001年

3 林佳烨;;云计算在电信行业数据分析领域的应用[A];广东通信2010青年论坛优秀论文集[C];2010年

4 万继光;王英建;王继彬;谢长生;;面向流媒体的智能瓦记录磁盘系统的研究[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【poster】[C];2011年

中国重要报纸全文数据库 前10条

1 湖南 古铜;制作高品质流媒体——WMV9[N];电脑报;2003年

2 西蒙;流媒体垄断是迟早的事？[N];计算机世界;2004年

3 ;流媒体最新发展及展望[N];人民邮电;2001年

4 松涛;将流媒体影音资源搬上影碟机[N];中国电脑教育报;2005年

5 本报记者 薛斐;别把“流”当媒体[N];计算机世界;2002年

6 北京 张景柱;解决流媒体不能拖动的问题[N];电脑报;2003年

7 本报记者 霞文;流媒体市场群雄并起[N];通信产业报;2002年

8 飘零雪;流媒体全垒打[N];中国电脑教育报;2004年

9 金_g;网为家用[N];中国电脑教育报;2002年

10 UT斯达康公司 屈彤　刘健;奔流分布式集群服务器架构 打造绿色IPTV服务[N];中国电子报;2009年

中国博士学位论文全文数据库 前6条

1 赵明;具备约束的实时调度关键问题的研究[D];东北大学;2010年

2 张冬松;多核多处理器系统的节能实时调度技术研究[D];国防科学技术大学;2012年

3 卫星;流媒体集群系统复制存储策略研究[D];中国科学技术大学;2009年

4 王俊伟;大规模多媒体存储系统中数据放置与调度策略的研究[D];国防科学技术大学;2005年

5 朱晓敏;异构集群系统中实时任务若干调度问题研究[D];复旦大学;2009年

6 邹勇;开放式实时系统的调度方法研究[D];中国科学院研究生院（软件研究所）;2003年

中国硕士学位论文全文数据库 前10条

1 武秀立;无线网络模拟器设计与实现[D];天津大学;2005年

2 辛建光;基于ARM的嵌入式流媒体服务器的设计与实现[D];国防科学技术大学;2004年

3 周俊清;基于Hadoop平台的分布式任务调度算法研究[D];湖南大学;2012年

4 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年

5 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年

6 曾理;Hadoop的重复数据清理模型研究与实现[D];南华大学;2010年

7 高蓟超;Hadoop平台存储策略的研究与优化[D];北京交通大学;2012年

8 朱岩;Hadoop云存储策略的研究与优化[D];广东工业大学;2013年

9 郝向涛;基于Hadoop的分布式文件系统技术分析及应用[D];武汉理工大学;2013年

10 潘富斌;基于Hadoop的安全云存储系统研究与实现[D];电子科技大学;2013年

，

本文编号：1589064