基于服务器集群的可伸缩架构设计与实现

发布时间：2020-08-29 07:36

　　 网站在渐进式的演化过程中,不改变网站的硬件或软件设计,仅通过改变部署的服务器数量就实现扩大或缩小网站的服务处理能力的目标,这就是网站的伸缩性。实现网站伸缩性的最重要的手段是服务器集群技术。论文对互联网站架构演化的历程及服务器集群相关技术进行了研究,以开放系统互联参考模型(Open System Interconnection,OSI)为理论基础,总结了各种集群和负载均衡原理和优缺点,确定了Linux虚拟服务器(Linux Virtual Server,LVS)与反向代理Nginx的混合集群设计思路。通过对各大型网站的基础架构的研究,确定了网站伸缩性架构设计的可行性和必要性。本文分析了常见的高可用集群(Keepalived)方案的实现原理和功能特点。针对该方案一主一备、备机闲置的设计的不足,提出了基于多路径访问网络(Multiacess,MA)集群的设计构想。通过在三层交换机上配置动态路由,LVS上部署路由模拟软件(Quagga),利用开放式最短路径优先(Open Shortest Path First,OSPF)协议的链路状态检查原理,构建三层交换机与LVS的集群。配置LVS直接路由(Direct Route,DR)模式把请求转发到Nginx,形成了多LVS协作集群及Nginx反向代理集群的混合集群的可伸缩性设计网站架构。改进的方案具备以下优点:1,高可用集群无资源闲置,避免了资源浪费;2,单台宕机不会导致全站业务切换,实现了真正的高可用;3,突破了传统高可用方案的“双机限制”,支持更多的服务器集群,网站具备更大的容量。论文中实验环境硬件配置按比例缩减,围绕方案的核心功能设计了测试用例。进行了反向代理的有效性验证、后端服务器的健康检查验证、LVS集群的有效性验证、大量请求时负载的均衡性验证、高可用方案的功能性能验证,另外,在实验环境进行了必要的性能测试、压力测试及稳定性测试。实验初步验证了论文设计的可行性和有效性。本文的设计在“开课啦”生产环境得到了推广,可伸缩的架构支撑了过去的两次网站访问高峰。2016年高峰,单天的页面浏览量(Page View,PV)达到5000万,独立访客(Unique Visitor,UV)超过100万。2017年高峰,PV超过7000万(平日PV、UV分别为50万、8万)。生产环境通过LVS+Nginx+OSPF的混合集群架构设计改造,配合缓存技术(CDN、会话集中),实现了高峰阶段访问无中断,网站无重大故障发生的高可用运营。实践证明,本文的网站架构改造方案,设计思路明确,实施部署操作风险低,能够满足“开课啦”网站高峰期间的用户高并发访问及网站长期运营的需求。
【学位单位】：浙江工业大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.092;TP368.5
【部分图文】：

图 1-1 负载均衡的负载均衡衡的网络设备有：基于以太网通道（Etherne10。绑定一条以上的以太网链路来提升整个链路具备这种功能。其通过运行某种机制，将多通支持使用双绞线、光纤物理链路，且最多后，链路通行速率成倍增加[7]。以太网通道是完成对网络链路进行扩展的重要手段。are 是专业从事负载均衡技术产品的厂家，

ScaleUp和ScaleOut对比

如 LVS-DR 模式。四层交换：基于 IP 地址和 和 LVS-TUN）。七层交换一般就是指反向代理代理的软件有：Nginx，Squid，Haproxy 等。经实现了高可用，但是调度器本身依然是单机点宕机导致故障。Availability[32]）：是为了使系统减少中断时间，的主节点发生了故障，就需要一个备用节点来所以当备用节点替换主节点接管其身份时，用方式被称为高可用集群。通常情况下，负载均 LB 发生故障并当即，将导致整个系统无法提象。分布式系统中解决系统高可用问题的开源项目

【相似文献】

相关期刊论文 前10条

1 赵勇;;服务器集群在发射台平台系统中的应用[J];广播电视信息;2016年08期

2 李丽;;服务器集群技术探析[J];数字技术与应用;2013年10期

3 赖建峰;林永怡;;浅谈服务器集群技术在数字化校园中的应用[J];硅谷;2011年09期

4 李俊青;周恩;符天;;服务器集群及负载均衡的研究[J];电脑知识与技术;2009年26期

5 侯俊;;服务器集群技术的介绍与应用[J];沙漠与绿洲气象;2009年S1期

6 丛庆;沈夏炯;;普招网报系统中服务器集群与缓存的研究[J];电脑知识与技术;2009年34期

7 冷冕冕;孙少斌;;服务器集群技术在数字化校园中的应用[J];计算机与信息技术;2008年05期

8 王虎;服务器集群技术及其在视频网络中的应用[J];现代电视技术;2005年01期

9 铁玲,诸鸿文,戎蒙恬;具有区分服务等级的可扩展并行服务器集群[J];计算机工程;2001年01期

10 梁洪辉;基于并行容错网的对等服务器集群的设计与实现[J];计算机应用研究;2001年02期

相关会议论文 前7条

1 黄海;牛聪;金忠勤;;SMG数码视觉基地项目中的刀片服务器集群应用研究[A];2009中国电影电视技术学会影视技术文集[C];2010年

2 刘智;肖巍巍;;构建NLB技术的MSCS服务器集群网络结构的设计与实现——解决高负载选课系统前台网络阻塞与后台实时数据处理[A];广西计算机学会2012年学术年会论文集[C];2012年

3 王心光;;基于虚拟机的多服务器集群技术在地铁综合监控系统的应用[A];第八届中国智能交通年会优秀论文集——轨道交通[C];2013年

4 鲁秀明;;医院信息系统的集成管理[A];2008年中华临床医学工程及数字医学大会暨中华医学会医学工程学分会第九次学术年会论文集[C];2008年

5 苏李亮;王云福;侯斌;;海量设计文档分布式存储及负载均衡的研究与实现[A];2013电力行业信息化年会论文集[C];2013年

6 张斌;;淄博水文云计算平台及大数据应用[A];探索“智慧水利” 推动科技创新——2017（第五届）中国水利信息化技术论坛论文集[C];2017年

7 秦延波;;基于119报警信息系统的建立[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集（上册）[C];2004年

相关重要报纸文章 前10条

1 ;HP借外力攻Linux服务器集群[N];计算机世界;2002年

2 ;网络源头 e动无限[N];科技日报;2000年

3 ;在服务器集群上轻装奔跑[N];网络世界;2005年

4 清水;省钱的服务器集群[N];计算机世界;2011年

5 王波;Linux与服务器集群技术[N];中国计算机报;2002年

6 本报记者 李柠;肩挑未来计算[N];中国计算机报;2001年

7 刘芳;服务器集群技术助力网络游戏[N];中国计算机报;2003年

8 清华大学计算机科学与技术系 单志广;Web服务器集群体系结构[N];网络世界;2002年

9 陈翔;国内首台IBM Cell刀片服务器集群投入运行[N];中国计算机报;2007年

10 宋家雨;不中用的集群[N];网络世界;2006年

相关博士学位论文 前8条

1 李双庆;Web服务器集群技术研究[D];重庆大学;2003年

2 雷继兆;PC和服务器集群下的并行FDTD算法及其应用研究[D];西安电子科技大学;2009年

3 王红斌;Web服务器集群系统的自适应负载均衡调度策略研究[D];吉林大学;2013年

4 宁玉梅;网络资源管理中若干问题研究[D];西安电子科技大学;2015年

5 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年

6 卫星;流媒体集群系统复制存储策略研究[D];中国科学技术大学;2009年

7 史晓雨;数据中心中自适应绿色控制技术研究及其应用[D];电子科技大学;2015年

8 王一川;云环境下DoS攻防理论与技术研究[D];西安电子科技大学;2014年

相关硕士学位论文 前10条

1 缪海锋;基于服务器集群的可伸缩架构设计与实现[D];浙江工业大学;2018年

2 王关政;基于Tengine的服务器集群动态均衡算法的研究与实现[D];华南理工大学;2018年

3 郭利文;基于FPGA的多节点服务器集群的均衡系统管理设计[D];湖南大学;2018年

4 赵晔;基于Nginx的Web后端服务器集群负载均衡技术的研究与改进[D];昆明理工大学;2017年

5 张普;网络计算机服务器集群的设计研究[D];中国科学院研究生院（软件研究所）;2005年

6 于晋达;服务器集群技术在电视台视频编缉网络中的扩展应用[D];山东大学;2007年

7 张洪武;服务器集群与均衡技术研究[D];重庆大学;2004年

8 常新苗;服务器集群在自助服务系统中的应用与研究[D];华北电力大学（北京）;2003年

9 王钊;流媒体服务器集群负载均衡策略的研究[D];西安邮电大学;2017年

10 闫树松;视频会议服务器集群的设计与实现[D];华南理工大学;2015年

本文编号：2808268