当前位置:主页 > 管理论文 > 移动网络论文 >

基于Docker的分布式Web平台的研究与实现

发布时间:2020-08-27 15:46
【摘要】:Docker相较于传统的虚拟机,减少了Guest OS层的资源消耗,旨在提供更轻量级的基于进程的软件服务,它也为开发人员提供了快速的开发、测试、实施的平台环境。对于分布式Web平台的发布,Docker也提供了集群化的管理发布方案。目前,在持续集成发布、容器内资源性能日志全面监控调度、容器资源的弹性伸缩和应用的灰度发布方面,Docker还有很大提升空间。持续集成方面,虽然借助持续集成工具Jenkins可以实现,但是相对于集成软件的操作,这对用户提出了较高的技术操作要求。另外,针对于集群内应用性能监控和日志,一直是容器运维厂商的难题,这样使得建立全方位监控和日志的方案变得尤为重要。将容器的弹性伸缩和基于应用的版本升级完美的应用于平台生产环境,实现容器应用生命周期的管理,一直是制约容器推广和应用的难点。如何有效解决这些问题,本文设计和实现的基于Docker的分布式Web平台将从持续集成、性能监控、灰度发布和日志检索方面进行探索。本文的工作和创新点如下:首先,本项目设计的分布式Web平台中的一键式持续集成有效的解决了分布式Web应用的开发、测试、实施的环节环境不一致的问题,弱化了平台的差异性,使开发、测试更专注于业务的实现,简化应用发布周期。一键式持续集成实现了SVN代码管理工具与Jenkins持续集成工具的有机集合,节约了大量维护成本,同时也降低了持续集成的操作难度。其次,本文针对使用Docker平台后,容器应用的资源性能数据采集、汇总和分析问题,提供了性能监控方案。并利用Kubernetes的特性,将容器资源实时的使用率加入到应用弹性伸缩的策略中,实现基于容器的资源监控和动态的自适应调整资源占用,做到了应用的弹性伸缩自适应。该方案能够实时地对应用节点进行弹性的控制,解决了Docker容器无法根据性能访问自适应的问题,使应用可以灵活的提供服务,同时在调度触发上引入调度日志的审计,确保其调度的有效性。然后,对软件项目的版本变更升级探索了灰度发布的机制。通过项目实践中引入灰度发布,减少业务的中断,提高客户的产品满意度。同时,也为开发人员和运维人员节省了大量升级等待时间,降低了版本升级过程中出错率。最后,对容器内大量性能信息和日志,建立了一体化的日志采集和分析平台,实现了容器内节点、应用和调度界面化的资源管理。该平台一方面提供了丰富的查询接口,能够适应日志检索的多维度查询要求;另一方面降低了Docker容器资源的运维复杂性,节约了运维人力成本。本文对分布式Web平台中的持续集成、性能监控、灰度发布和日志检索功能进行了逐一测试,验证了其有效性。该平台的设计和实现,为Docker虚拟化应用以及软件项目的持续集成、性能监控、灰度发布和日志检索提供了完美的解决方案,具有很强的现实意义。
【学位授予单位】:上海师范大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP393.09

【相似文献】

相关期刊论文 前10条

1 李莉;;日志易 利用人工智能从日志分析中寻求机会[J];创业邦;2018年01期

2 李静;施勇;薛质;;基于蜜罐日志分析的主动防御研究[J];信息安全与通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner进行日志分析[J];电脑开发与应用;2007年09期

4 王逸兮;冯浩;刘芬;;大规模查询日志分析模型构建机制[J];数字通信世界;2017年11期

5 钱卫;袁瑞冬;;集中管理服务日志[J];网络安全和信息化;2017年06期

6 胡沐创;;大数据日志分析平台应用探索与实践[J];金融科技时代;2018年01期

7 ;SITEVIEW DeepLOG深度日志分析[J];网络安全和信息化;2016年05期

8 周航;毕永军;;日志分析技术在IT运维管理中的应用[J];金融电子化;2017年03期

9 邓海川;方旭升;;日志分析系统的任务调度体系结构研究[J];科技信息;2013年05期

10 王参参;姜青云;李彤;;基于大数据的日志分析平台在银行中的研究与实现[J];网络安全技术与应用;2018年05期

相关会议论文 前10条

1 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

2 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

3 马勇;赵学明;孙波;;基于Aprior算法的Web日志分析方法[A];第27次全国计算机安全学术交流会论文集[C];2012年

4 魏晨辉;张展;向琳;王书婷;左德承;;一种基于高端容错计算机故障日志分析系统的设计与实现[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年

5 付伟;白永超;辛阳;;一种基于Hadoop和K-means的Web日志分析方案的设计[A];第十九届全国青年通信学术年会论文集[C];2014年

6 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年

7 胡双双;武斌;;基于攻击图的蜜网日志分析[A];第十九届全国青年通信学术年会论文集[C];2014年

8 许丹青;刘奕群;岑荣伟;马少平;茹立云;杨磊;;基于日志分析的中文输入法用户行为研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年

9 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

10 朱江;詹微;林勇;梁翰中;;MOTOROLA BSC多元维模式[A];四川省通信学会2007年学术年会论文集[C];2007年

相关重要报纸文章 前10条

1 ;日志分析中的五个误区[N];网络世界;2004年

2 本报记者 赵明;新一代日志分析系统为企业运维减负[N];中国计算机报;2016年

3 中科院计算所 李洋;使用Webalizer进行网络流量日志分析[N];计算机世界;2006年

4 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

5 ;Docker支持更深人的容器日志分析[N];中国信息化周报;2016年

6 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年

7 王婷;IDC增值服务:网站日志分析[N];计算机世界;2001年

8 重庆 航行者;IIS的安全[N];电脑报;2002年

9 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年

10 记者 闻丹岩;Cisco与世纪互联让利用户[N];中国计算机报;2001年

相关博士学位论文 前1条

1 李志强;基于网络日志的用户行为分析[D];北京理工大学;2016年

相关硕士学位论文 前10条

1 李志盼;基于Docker的分布式Web平台的研究与实现[D];上海师范大学;2018年

2 郑荣;统一日志系统中的日志获取模块与日志检索模块的设计与实现[D];南京大学;2018年

3 罗磊;基于ElasticSearch与Storm的日志大数据服务平台的设计与实现[D];安徽大学;2018年

4 陈勇;银行日志仓储中心系统的设计与实现[D];湖南大学;2017年

5 赵毅;一种教育云平台的资源推荐方案[D];华中科技大学;2016年

6 傅韧峤;面向移动新闻的日志收集分析系统的设计与实现[D];北京交通大学;2017年

7 许长福;日志数据分析系统的设计与实现[D];北京交通大学;2017年

8 曾新励;基于Hadoop平台的分布式web日志分析系统的研究与实现[D];西南石油大学;2017年

9 费秀宏;基于Kafka的日志处理平台的研究[D];吉林大学;2017年

10 贾周阳;面向大规模开源软件的日志增强技术研究[D];国防科学技术大学;2015年



本文编号:2806294

资料下载
论文发表

本文链接:https://www.wllwen.com/guanlilunwen/ydhl/2806294.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户80f2e***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com