视频点播系统层级式缓存优化技术研究

发布时间：2018-12-09 09:28

【摘要】：随着网络的普及,互联网已经成为影响我国经济社会发展和人民生活的关键行业,而Web2.0技术的发展则促使网络内容从单纯的文本发展成为包含图像、声音、文字等多种内容的多媒体内容,其中最典型的多媒体内容就是在线视频。为满足广大网络用户对在线视频的观看需求,视频点播系统应运而生。由于视频文件的大小远远高于传统的文本文件,海量的视频点播需求给互联网带来了巨大的数据传输压力,由此导致互联网出现大量的拥塞、丢包现象,严重影响了互联网的整体性能,并极大地降低了视频点播系统的用户体验。本文从减轻互联网数据传输压力、提高视频点播系统服务质量的角度出发,研究视频点播系统的层级式缓存的优化问题,以提高缓存系统的使用效率、降低缓存系统的部署成本。面对视频点播系统层级式缓存具有的缓存节点众多、缓存层次各异、存储设备复杂、视频流行度多变等挑战,本文着重研究了其中的视频流行度预测、混合存储设备数据部署和多缓存节点相互协作等问题。本文的主要工作与研究成果可归结为如下三点：1)提出了一种基于历史访问信息指数加权的视频流行度预测算法。由于视频用户的点播兴趣总是不断变化的,由此导致视频的流行度也随时间不断变化。随着当前视频总量的日益膨胀,视频流行度的时变性日趋增强,基于传统算法难以及时、准确地预测视频流行度。本文提出了一种基于历史访问信息指数加权的视频流行度预测算法,对视频不同时刻的访问信息施加随时间变化的动态权重,越老旧的访问信息其权重越低。算法既能够充分利用视频的历史访问信息来抑制用户行为的随机性对流行度预测的影响,又能通过逐步降低历史访问信息的权重来追踪视频流行度的动态变化,并且计算复杂度较低,从而实现了对视频流行度的准确、快速预测。2)提出了一种基于写负荷负反馈的混合存储设备数据部署算法。缓存节点的存储设备的硬件性能对缓存节点的响应速度和并发服务能力有着重要的影响。传统的普通硬盘容量大、成本低,但是读写性能较差,而新兴的固态硬盘读性能较高,但是成本高、写寿命有限。由普通硬盘和固态硬盘结合而形成的混合存储设备能够充分利用两种硬盘的互补特性。本文提出了一种基于写负荷负反馈的混合存储设备数据部署方法,把混合存储设备的数据部署问题描述成不同存储设备之间的基于阈值的数据迁移问题,并把固态硬盘的写负荷作为一种负反馈信息提供给迁移算法,从而使得迁移算法能够动态调整数据迁移的阈值,最终实现了在固态硬盘写寿命受限条件下的混合存储设备的数据部署优化。3)提出了一种基于存储收益的层级式缓存分布式协作算法。在层级式缓存系统中,由于于同一层缓存节点的服务区域位置邻近而不同层缓存节点的服务区域相互覆盖,不同缓存节点观测到的视频流行度具有很强的相似性。因此,各个缓存节点需要相互协作来降低存储内容的冗余。层级式缓存系统的最优协作问题是一个复杂的全局最优化问题。本文首先提出了视频在缓存节点上的存储收益的概念,进而利用存储收益把多缓存节点协作的全局优化问题转化成单个缓存节点上的存储收益排序问题和不同层级缓存节点之间的数据迁移问题,极大地降低了层级式缓存系统缓存协作的复杂度,同时提高了缓存系统的使用效率。本文对所提算法进行了大量仿真实验,结果表明所提出的流行度预测算法的字节命中率高于传统的缓存算法、混合存储设备数据部署算法能够严格满足存储设备的使用寿命限制、分布式协作算法的整体性能高于传统的协作算法。
[Abstract]:......
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TN948.64

【相似文献】

相关期刊论文 前10条

1 ;视频点播系统(VOD)[J];广播与电视技术;2000年07期

2 ;视频点播系统[J];中国电子商情;2001年01期

3 ;影立驰推出先进的视频点播系统[J];电视技术;2001年04期

4 ;视频点播系统解决方案[J];电子产品世界;2001年19期

5 唐忠,仇小强,何慧敏,罗海琼;广西医科大学视频点播系统的设计与实现[J];广西科学院学报;2001年04期

6 ;先进的视频点播系统[J];计算机周刊;2001年22期

7 ;美国影立驰推出世界最先进的视频点播系统(VOD)[J];有线电视技术;2001年06期

8 林坤辉;视频点播系统两级存储结构的设计与实现[J];厦门大学学报(自然科学版);2002年03期

9 赵斌,王丹;视频点播系统与视频点播服务器[J];沈阳航空工业学院学报;2002年04期

10 王荣生,杨际祥;视频点播系统中仿真器的研究与实现[J];计算机应用与软件;2004年12期

相关会议论文 前5条

1 王传君;冯兵;周纯玉;;基于文件遍历视频点播系统的设计与实现[A];中国航海学会通信导航专业委员会2006年学术年会论文集[C];2006年

2 谢剑;孙立峰;钟玉琢;;基于简单网络环境的交互式多视点视频点播系统[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

3 陈丽莎;李岩松;陈国玺;;视频点播系统中广播式视频服务器方案[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

4 潘丽;李绍彬;蓝善祯;凌燕;;基于P2P技术的视频点播系统搭建[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

5 黄海;;基于TCP/IP的宽带视频点播系统的终端——宽带IP机顶盒设计与实现[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集（上册）[C];2004年

相关重要报纸文章 前10条

1 ;“育典视频点播系统”使用问题详解[N];中国电脑教育报;2005年

2 ;美国影立驰推出世界最先进的视频点播系统[N];中国高新技术产业导报;2001年

3 曹发魁;佳视助视频点播进入饭店[N];中国旅游报;2000年

4 任小庶;以本土需求为己任[N];中国邮政报;2001年

5 王沛;使用远古视频点播系统的 常见问题和处理方法[N];中国电脑教育报;2003年

6 本报记者　 李云;“直通车”直通肇庆千村万户[N];广东科技报;2006年

7 ;IBM中国随需而动[N];计算机世界;2003年

8 高罗胜　马友晟　匡启键;农民不出村不出户就可听到专家授课[N];新华日报;2006年

9 任重;世界最先进的视频点播系统[N];中国贸易报;2001年

10 宋义江;广电视频点播系统设计[N];计算机世界;2004年

相关博士学位论文 前6条

1 徐理想;视频点播系统层级式缓存优化技术研究[D];中国科学技术大学;2016年

2 周铀;视频点播系统访问行为研究：测量、分析与建模[D];中国科学技术大学;2009年

3 赵扬;基于用户行为分析的视频点播系统优化技术研究[D];中国科学技术大学;2014年

4 闫君飞;视频点播系统中的视频检索研究[D];中国科学技术大学;2008年

5 郁岐锋;P2P流媒体视频点播系统中的数据查询与调度优化研究[D];南京大学;2012年

6 庄宏;P2P视频点播系统中的ISPs辅助方法研究[D];中国科学技术大学;2010年

相关硕士学位论文 前10条

1 赵建峰;分布式视频点播系统的设计与实现[D];成都理工大学;2004年

2 陈勇;视频点播系统的设计与实现[D];电子科技大学;2011年

3 高明;支持多种视频文件格式的车载视频点播系统的研究与设计[D];中国海洋大学;2011年

4 满宏昌;中科信息技术专修学院视频点播系统的设计与实现[D];电子科技大学;2013年

5 朱伟;互动数字媒体服务平台—视频点播系统的设计与实现[D];电子科技大学;2015年

6 房文超;基于JSP的内部网络视频点播系统的设计与实现[D];电子科技大学;2014年

7 苏超;基于JSP语言的校园网视频点播系统的设计与实现[D];电子科技大学;2014年

8 张虹;基于云存储的数字图书馆视频点播系统的设计应用研究[D];河北师范大学;2015年

9 梁于玲;基于SSH的网络教育视频点播系统的设计与实现[D];江西农业大学;2015年

10 许春玲;东北师范大学人文学院精品课视频点播系统的研究与设计[D];吉林大学;2008年

，

本文编号：2369157