面向网易游戏工作室服务器集群的日志收集工具设计与实现

发布时间：2022-01-17 20:49

　　当前,为网易游戏工作室提供线上业务服务的服务器数量不断扩大,原有的服务器日志收集工具已经难以适应日常运维需求,迫切需要建立一套更加完善的服务器日志收集工具,收集服务器日志数据,为进一步监控系统运行状态、快速发现系统运行故障提供日志数据基础。本文阐述了项目背景,简述该工具在业务运行中的重要作用,概述了国内外企业日志收集工具的应用情况。综述了实现工具所采用的Django框架、Kafka消息队列、MongoDB数据库、Bootstrap框架和Echarts等相关技术。论文说明系统边界,详细分析了功能需求和性能需求,提炼了日志收集、数据预处理、日志查询、模板管理、用户信息服务五个功能,通过工作原理、架构设计、功能组成设计、部署设计等,对总体架构进行阐述,并且设计数据库。论文通过类图、顺序图等方法,对日志收集、数据预处理等五个模块进行了详细设计,给出具体实现细节,并且进行系统测试。本工具已在项目组服务器集群中投入使用,使用效果良好,计划推广到全公司使用。 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：97 页

【学位级别】：硕士

【部分图文】：

，日志收集模块结构图

ｐａｒｔｉｔｉｏｎ（分区）进行存储，每条消息会以追加的方式写入分区。一个Ｔｏｐｉｃ保存在??多个分区上，用户可以对不同分区的数据并行读写，以此提高系统性能。Ｋａｆｋａ??消息分区示意图如图４．９所示。??Ｋａｆｋａ还提供备份机制保证消息队列的可靠性与稳定性，当集群中某些节点??４５??

ｄａｔａｐｏｉｎｔＬｉｓｔ．ａｐｐｅｎｄ（ｉｔｅｍ．ｔｏＪｓｏｎ〇）??ｒｅｔｕｒｎ?ｄａｔａｐｏｉｎｔＬｉｓｔ??图４．２２日志数据查询方法的具体实现??ｉｉ擇数麵??＠m勸Ｊｉ嫩??％?２?ｍｉｒｍｓ?｜??■??图４．２３系统运行界面??４．３．３数据可视化的具体实现??数据可视化使用的Ｅｃｈａｒｔｓ提供的数据可视化工具。可视化过程首先需要在??Ｗｅｂ页面中设置一张画布，用于显示可视化图像。然后装填显示的数据集，需??要将数据封装成Ｅｃｈａｒｔｓ指定的格式。最后配置可视化组件的参数

【参考文献】：
期刊论文
[1]大数据环境下的数据库高可用性研究[J]. 冯云,耿铭慈.  电子世界. 2018(02)
[2]基于Python的可视化数据分析平台设计与实现[J]. 严婷,文欣秀,赵嘉豪,王家辉,杜傲,白瑞杰.  计算机时代. 2017(12)
[3]流计算与内存计算架构下的运营状态监测分析[J]. 赵永彬,陈硕,刘明,王佳楠,贲驰.  计算机应用. 2017(10)
[4]面向大数据分布式存储的动态负载均衡算法[J]. 张栗粽,崔园,罗光春,陈爱国,卢国明,王晓雪.  计算机科学. 2017(05)
[5]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖.  计算机应用. 2017(05)
[6]基于AJAX异步传输技术与Echarts3技术的动态数据绘图实现[J]. 郑幸源,洪亲,蔡坚勇,陈顺凡,柯俊敏.  软件导刊. 2017(03)
[7]大数据环境下的分布式数据流处理关键技术探析[J]. 陈付梅,韩德志,毕坤,戴永涛.  计算机应用. 2017(03)
[8]基于SSH框架与jQuery技术的JavaWeb开发应用[J]. 杨利荣.  数码世界. 2017(02)
[9]分布式数据流上的高性能分发策略[J]. 房俊华,王晓桐,张蓉,周傲英.  软件学报. 2017(03)
[10]一种优化的Kafka消费者/客户端负载均衡算法[J]. 王郑合,王锋,邓辉,柳翠寅,张晓丽.  计算机应用研究. 2017(08)

硕士论文
[1]高性能和高可用分布式键值存储系统的研究与设计[D]. 廖岩.华南理工大学 2017



本文编号：3595414