面向大规模流媒体服务的高性能存储系统研究

发布时间：2020-10-28 06:57

　　 对流媒体服务平台性能影响最大的因素包括：流媒体服务器的最大吞吐量、流媒体服务器的Internet接入速率、流媒体存储系统的最大吞吐量。内容分发网络与缓存服务器将流媒体服务的访问点从流媒体服务器变为靠近用户所在区域的缓存服务器，降低了Internet主干网络带宽波动对流媒体服务质量的影响，同时也降低了对流媒体服务器接入速率的要求。客户端P2P数据共享机制减小了流媒体服务器的访问负载，降低了对流媒体服务器吞吐量与Internet接入速率的要求。而流媒体存储系统作为流媒体服务平台的核心部件却研究较少，流媒体的软实时特性使得流媒体存储系统和一般的高性能存储系统的性能指标存在很大不同，在流媒体服务中直接应用一般的高性能存储系统并不能获得最好的服务性能，必须针对流媒体应用的特性设计对应的高性能存储系统。 本文研究面向Internet的大规模流媒体服务所需的存储系统结构，其目标是以较低的成本提供高性能、支持QoS确保机制的流媒体存储服务。主要内容如下： 1．分析主要的流媒体服务平台体系结构以及已有的各种高性能存储系统直接应用于流媒体服务时存在的不足，指出了研究面向流媒体服务的高性能存储系统的重要性。 2．通过系统仿真手段研究了流媒体服务的负载特性，以此为基础研究了存储系统服务性能与缓存容量、数据访问粒度、磁盘带宽之间的关系，获得了存储节点的设计规则。 3．提出了数据条带化分片存储与并行访问相结合的高性能存储系统，通过采用并行元数据服务器结构，获得了比类似系统更高的可用性和更高的性能。4．提出了基于三级目录结构的元数据检索机制，提高了检索性能。通过元数据服务器中的快表机制，提高了热点元数据的查询性能。通过在元数据服务中引入元数据预取机制，减小了影片服务过程中查询元数据信息的次数。通过在元数据服务的使用者中引入元数据信息缓存机制，避免了对同一个数据对象多次请求元数据信息而伴随的开销。 5．为了进一步提升存储系统的服务性能，在流媒体服务器与存储系统之间引入了独立的分布式缓存层。通过统一管理分布式缓存层的各个节点的缓存空间，构建了全局可见的数据缓冲池。分布式缓存层显著改善了存储系统的访问性能，特别是热点数据的访问性能。 6．提出了一种结合了可变比例区分服务模型、接纳控制、多描述编码的服务质量确保机制，为流媒体存储系统提供了服务质量确保能力。 7．针对流媒体服务的运营商向Internet上不同区域的多个存储系统部署影片的需求，提出了一种基于最优化服务带宽分配策略，可以适应Internet网络带宽波动的目标节点协同数据分发机制，通过目标节点相互提供对方所需的数据，提高了影片分发性能，降低了数据源节点的负载。
【学位单位】：电子科技大学
【学位级别】：博士
【学位年份】：2009
【中图分类】：TP333
【部分图文】：

的质量129‘32]。基于 eDN(eontentnelive:Network)的流媒体服务系统提高客户端服务质量的思想与缓存服务器类似[33一35]。采用这两种技术的流媒体服务系统结构如图1一1所示，该结构较好地支持了流媒体点播服务，但是由于缺乏客户端服务带宽复用机制，应用在流媒体直播系统中的成本较高。流媒体服务器流媒体服务器图1一1靠近客户端就近部署缓存服务器根据 1.2节提到的流媒体服务的集中性以及流媒体数据流动的非对称性，从上面两个特性出发，设计的基于 PZP(PeertoPeer)的流媒体服务系统得到了广泛的应用 [36-39]。5)客户端客户端客户端图1一2基于PZP技术的流媒体服务系统结构示意图在图1一2所示的PZP流媒体服务系统中，大量的PZP流媒体客户端可以从其它多个客户端获取所需的流媒体数据，而不必直接从流媒体服务器获取所需数据，降低了流媒体服务器的负载，减轻了Iniemet骨干网的压力

的质量129‘32]。基于 eDN(eontentnelive:Network)的流媒体服务系统提高客户端服务质量的思想与缓存服务器类似[33一35]。采用这两种技术的流媒体服务系统结构如图1一1所示，该结构较好地支持了流媒体点播服务，但是由于缺乏客户端服务带宽复用机制，应用在流媒体直播系统中的成本较高。流媒体服务器流媒体服务器图1一1靠近客户端就近部署缓存服务器根据 1.2节提到的流媒体服务的集中性以及流媒体数据流动的非对称性，从上面两个特性出发，设计的基于 PZP(PeertoPeer)的流媒体服务系统得到了广泛的应用 [36-39]。5)客户端客户端客户端图1一2基于PZP技术的流媒体服务系统结构示意图在图1一2所示的PZP流媒体服务系统中，大量的PZP流媒体客户端可以从其它多个客户端获取所需的流媒体数据，而不必直接从流媒体服务器获取所需数据，降低了流媒体服务器的负载，减轻了Iniemet骨干网的压力

量过多而降低整个区域内所有客户端的可用下行带宽，并最终影响流媒体服务的质量[40]。为了解决上面的问题，当前的流媒体服务系统普遍采用了图1一3的体系结构，由客户端所在hitemet区域的缓存服务器对客户端提供服务，又在客户端之间引入PZP数据共享机制，降低缓存服务器的负载。由于将客户端的PZP流量限制在了同一个Intemet区域内，克服了单独使用PZP技术的流媒体服务系统可能由于跨区域流量过多而最终降低流媒体服务质量的缺点14‘叫。用户群1A用户群1B用户群2A用户群2B用户群3A用户群3B用户群刁A用户群刁B图1一3典型的大规模流媒体服务器部署方案需要指出的是，图1一1、1一2、1一3中不论是流媒体服务器还是缓存服务器都不局限于单机结构，也可能是基于LAN/认叭N的集群或者分布式结构。由于绘图空间的限制，图1一1、1一2、1一3中省略了为流媒体服务器和缓存服务器提供流媒体节目的存储服务器。值得提出的是
【引证文献】

相关期刊论文 前1条

1 刘统阁;刘波;杨志文;;Hadoop在VOD系统中的应用研究[J];计算机与现代化;2012年06期

相关硕士学位论文 前2条

1 胡国栋;基于网络存储的流媒体服务器系统[D];浙江大学;2012年

2 李超;面向流媒体应用的实时可执行概率获取技术研究[D];国防科学技术大学;2010年

本文编号：2859755