大数据平台用户日志采集与实时监控系统的设计与实现
发布时间：2021-09-30 01:05
在移动端设备与应用飞速发展的当下,各类互联网服务大数据平台繁荣发展,大数据平台上的海量用户会产生大量的日志数据。如何对系统端与终端分散的海量用户日志数据进行采集与实时监控,实时关注日志中的各项重要指标,成为大数据平台企业所必须要解决的问题。通过对日志数据的监控,可以即时了解企业大数据平台的设备系统情况,对可能发生的故障进行检测和排查,可以优化业务流程,为平台用户提供更好的服务。目前大数据平台在用户日志处理方面面临如下几个主要的问题:（1）需要更符合企业实际业务需求,如保证高吞吐量、可靠数据传输等特性的系统,完成对日志的采集、清洗和存储工作;（2）对实时日志数据的接入管理不便,难以对日志历史数据进行简易有效管理,从而影响到上层数据查询和统计分析计算效率;（3）当前通用实时监控告警业务开发联调周期较长,需要一个系统工具来实现灵活、高效的日志数据监控任务。本文首先阐述了日志采集与实时监控系统在当前大数据环境中对于大数据平台企业的意义与相关应用,然后从大数据平台企业对用户日志数据采集和有效监控的需求出发,探究分布式的日志采集与实时监控系统架构所必需的原则特性;接着设计了系统的功能架构、技术架构...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：79 页
【学位级别】：硕士
【部分图文】：
图２－１系统业务流程图??２．?３系统功能性需求分析??
ｓ＊＜＜?ｉｎｃｌｕｄｅ?＞?＞?＊?Ｖ－＾ｓｆ??／????＜＜?ｉｎｃｌｕｄｅ?－?＞???＾?５＜?ｉｎｃｌｕｄｅ＞?＞????？，？－乂Ｄｗ?瞻妾），？”?：？？：：?“ｉｎｃｌｕｄｅ”一?錢??ｘ５ｉ＞ｒｏｅ＞＾－＾?＾，Ｒｄｕａｅ？－＜ｇ＝＾￣??７＼＼．?，?＾?？＜＾ｒｆｌｏｖ＾￡）＜＾＜ｉｎｄｕｇｅ？?，?．：＾＾。、，磁命??幵?ＳＡ?员?＜＜ｍｃｌｕｑ？＞，??Ｗｎｃｌｕｄｅ＞＞?＜＜ｍｃｉｕｄｅ＞＞??．：／＾ｉｒｆｌ〇．－．ＷＴ？＼??图２＿２连接管理用例图??连接管理模块是前台管理和监控系统各项功能实现的基矗对Ｋａｆｔａ消息队??列的管理包括对Ｋａｆｋａ?Ｂｒｏｋｅｒ节点Ｈｏｓｔ地址的配置，系统需要该地址获取Ｋａｆｋａ??集群的Ｔｏｐ１Ｃ列表，以供日志数据从Ｋａｆｋａ的接入操作。对Ｄｒｍｄ集群的管理包??括对其Ｂｒｏｋｅｒ节点、Ｃｏｏｒｄｉｎａｔｏｒ节点以及Ｏｖｅｒｌｏｒｄ节点的Ｈｏｓｔ地址配置，系统??需要Ｄｒｕｉｄ集群的Ｃｏｏｒｄｉｎａｔｏｒ节点地址以获取接入数据源的列表，需要Ｏｖｅｒｌｏｒｄ??节点地址获取数据源的详细信息，以及进行数据的摄入任务配置。对Ａｉｒｆｌｏｗ则??需要设置其平台地址，来实现日志监控脚本的自动部署需求。??除此之外，该模块还提供其它必要配置选项以支持后续功能进行，包括监控??脚本模板的地址的设置等。??２．?３．?３?Ｄｒｕｉｄ数据源配置需求分析??Ｄｒｕｉｄ数据源配置模块主要功能包括两个部分，创建任务实现Ｋａｆｋａ集群特??定Ｔｏｐｉｃ的日志数据接入至实时数据计算引擎Ｄｒｍｄ，以及对Ｄｒｕｉｄ集群中保存??的历史日志数据进行管理，包括对数
＾ｐｂｃｘ＼＜?＜ｉｎｃ＾ｕｄｅ＞?＞?．ｊ＾＾ｏｍｐａｃｔ＾Ｎ??．？、?Ｔａｓｋ＾?Ｊ?＾ＶｊＴａｓｋａ＾Ｌ－＾??＾）＜ｍｄｕ????????＼＜＜ｉｎｃｌｕｄｅ＞＞??——一■??？ｉｎｄｕｄｅ＞，＜＜ｍｃｌｖｄｅ＞＞－Ｋｌ＾ｆｆＢＳ）??＼?＜＜ｉｎｃｌｕｄｅ＞＞??＾＾ｌｉｌ?ＴａｓＫ？＾＾＾?－－＾ＩｎｄｅｘＴａｓｋＳ＾）??＼?＜?＜?ｉｎｃｌｕｄｅ?＞＞?１—＂??？ｉｎｃｌｕｄｅ?？?＂＇＾＜ＫｍＴａｓｇａ）??ＩＴａ：Ｓ＾）??图２－３?Ｄｒｕｉｄ数据源配置模块用例图??以通常方式完成Ｋａｆｋａ数据接入至Ｄｍｉｄ，需要编写数据接入的ＪＳＯＮ配置??文件并通过命令发送至Ｄｒｕｉｄ集群对应接口。在该模块中，使用者可通过添加页??面选择Ｋａｆｌａ集群名称并选择所需接入日志数据的Ｔｏｐｉｃ，填写相关配置项完成??曰志数据的摄入工作，来简化线上数据源的配置流程。用户日志数据接入至Ｄｒｕｉｄ??后，可根据业务需求进行日志数据的计算以及监控任务等操作。??除进行日志数据接入任务的创建外，该模块还可实现对历史日志数据的管理，??主要针对接入到Ｄｒｕｉｄ集群的数据源数据进行管理，包括日志数据的合并任务、??索引任务以及删除任务等。其中合并任务主要是对数据源中的Ｓｅｇｍｅｎｔｓ进行合??并，减少存储结构中的Ｓｅｇｍｅｎｔｓ数量；索引任务对数据源中的历史数据按指定??的时间区间进行合并，合并任务和索引任务都可优化Ｄｒｕｉｄ存储结构，提升对于??日志数据的实时查询与计算速度。删除任务则对不再使用的数据源进行删除，包??括保存在Ｄｒｕｉｄ中的元数据与ＨＤＦＳ中的历史数据，扩展存储空间。??
【参考文献】：
期刊论文
[1]基于日志分析的智能化运维监控管理工具的研究[J]. 李济伟,董耀众,宋瑞. 电子制作. 2020(01)
[2]一种改进的ELK日志采集与分析系统[J]. 鲜征征,叶嘉祥. 软件导刊. 2019(08)
[3]分布式日志采集系统设计[J]. 代乾坤. 电脑知识与技术. 2019(17)
[4]大数据技术进展与发展趋势[J]. 张娜,马燕,崔桓睿,刘逗逗. 通讯世界. 2019(02)
[5]利用Kafka实现大话务并发数据流的吞吐系统[J]. 唐颖淳. 电信科学. 2018(S2)
[6]基于kafka消息平台的软件系统设计[J]. 裴宏祥,于晓虹. 电子技术与软件工程. 2018(18)
[7]基于大数据技术的日志分析体系结构的研究[J]. 张建东. 现代计算机(专业版). 2018(09)
[8]基于Hadoop平台的Web日志业务分析[J]. 张俊瑞,代洋. 山西电子技术. 2017(06)
[9]应用软件运行日志的收集与服务处理框架[J]. 张骁,应时,张韬. 计算机工程与应用. 2018(10)
[10]日志分析技术在IT运维管理中的应用[J]. 周航,毕永军. 金融电子化. 2017(03)
硕士论文
[1]基于大数据的新闻日志分析系统的设计与实现[D]. 冯岩.北京邮电大学 2019
[2]企业级分布式数据集成平台的设计与实现[D]. 何学平.西安电子科技大学 2019
[3]基于大数据的日志采集分析系统的研究与实现[D]. 杨恺.华北电力大学 2019
[4]基于Spark Streaming的实时日志分析与信息管理系统的设计与实现[D]. 王梦蕾.哈尔滨工业大学 2018
本文编号：3414815
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：79 页
【学位级别】：硕士
【部分图文】：
图２－１系统业务流程图??２．?３系统功能性需求分析??
ｓ＊＜＜?ｉｎｃｌｕｄｅ?＞?＞?＊?Ｖ－＾ｓｆ??／????＜＜?ｉｎｃｌｕｄｅ?－?＞???＾?５＜?ｉｎｃｌｕｄｅ＞?＞????？，？－乂Ｄｗ?瞻妾），？”?：？？：：?“ｉｎｃｌｕｄｅ”一?錢??ｘ５ｉ＞ｒｏｅ＞＾－＾?＾，Ｒｄｕａｅ？－＜ｇ＝＾￣??７＼＼．?，?＾?？＜＾ｒｆｌｏｖ＾￡）＜＾＜ｉｎｄｕｇｅ？?，?．：＾＾。、，磁命??幵?ＳＡ?员?＜＜ｍｃｌｕｑ？＞，??Ｗｎｃｌｕｄｅ＞＞?＜＜ｍｃｉｕｄｅ＞＞??．：／＾ｉｒｆｌ〇．－．ＷＴ？＼??图２＿２连接管理用例图??连接管理模块是前台管理和监控系统各项功能实现的基矗对Ｋａｆｔａ消息队??列的管理包括对Ｋａｆｋａ?Ｂｒｏｋｅｒ节点Ｈｏｓｔ地址的配置，系统需要该地址获取Ｋａｆｋａ??集群的Ｔｏｐ１Ｃ列表，以供日志数据从Ｋａｆｋａ的接入操作。对Ｄｒｍｄ集群的管理包??括对其Ｂｒｏｋｅｒ节点、Ｃｏｏｒｄｉｎａｔｏｒ节点以及Ｏｖｅｒｌｏｒｄ节点的Ｈｏｓｔ地址配置，系统??需要Ｄｒｕｉｄ集群的Ｃｏｏｒｄｉｎａｔｏｒ节点地址以获取接入数据源的列表，需要Ｏｖｅｒｌｏｒｄ??节点地址获取数据源的详细信息，以及进行数据的摄入任务配置。对Ａｉｒｆｌｏｗ则??需要设置其平台地址，来实现日志监控脚本的自动部署需求。??除此之外，该模块还提供其它必要配置选项以支持后续功能进行，包括监控??脚本模板的地址的设置等。??２．?３．?３?Ｄｒｕｉｄ数据源配置需求分析??Ｄｒｕｉｄ数据源配置模块主要功能包括两个部分，创建任务实现Ｋａｆｋａ集群特??定Ｔｏｐｉｃ的日志数据接入至实时数据计算引擎Ｄｒｍｄ，以及对Ｄｒｕｉｄ集群中保存??的历史日志数据进行管理，包括对数
＾ｐｂｃｘ＼＜?＜ｉｎｃ＾ｕｄｅ＞?＞?．ｊ＾＾ｏｍｐａｃｔ＾Ｎ??．？、?Ｔａｓｋ＾?Ｊ?＾ＶｊＴａｓｋａ＾Ｌ－＾??＾）＜ｍｄｕ????????＼＜＜ｉｎｃｌｕｄｅ＞＞??——一■??？ｉｎｄｕｄｅ＞，＜＜ｍｃｌｖｄｅ＞＞－Ｋｌ＾ｆｆＢＳ）??＼?＜＜ｉｎｃｌｕｄｅ＞＞??＾＾ｌｉｌ?ＴａｓＫ？＾＾＾?－－＾ＩｎｄｅｘＴａｓｋＳ＾）??＼?＜?＜?ｉｎｃｌｕｄｅ?＞＞?１—＂??？ｉｎｃｌｕｄｅ?？?＂＇＾＜ＫｍＴａｓｇａ）??ＩＴａ：Ｓ＾）??图２－３?Ｄｒｕｉｄ数据源配置模块用例图??以通常方式完成Ｋａｆｋａ数据接入至Ｄｍｉｄ，需要编写数据接入的ＪＳＯＮ配置??文件并通过命令发送至Ｄｒｕｉｄ集群对应接口。在该模块中，使用者可通过添加页??面选择Ｋａｆｌａ集群名称并选择所需接入日志数据的Ｔｏｐｉｃ，填写相关配置项完成??曰志数据的摄入工作，来简化线上数据源的配置流程。用户日志数据接入至Ｄｒｕｉｄ??后，可根据业务需求进行日志数据的计算以及监控任务等操作。??除进行日志数据接入任务的创建外，该模块还可实现对历史日志数据的管理，??主要针对接入到Ｄｒｕｉｄ集群的数据源数据进行管理，包括日志数据的合并任务、??索引任务以及删除任务等。其中合并任务主要是对数据源中的Ｓｅｇｍｅｎｔｓ进行合??并，减少存储结构中的Ｓｅｇｍｅｎｔｓ数量；索引任务对数据源中的历史数据按指定??的时间区间进行合并，合并任务和索引任务都可优化Ｄｒｕｉｄ存储结构，提升对于??日志数据的实时查询与计算速度。删除任务则对不再使用的数据源进行删除，包??括保存在Ｄｒｕｉｄ中的元数据与ＨＤＦＳ中的历史数据，扩展存储空间。??
【参考文献】：
期刊论文
[1]基于日志分析的智能化运维监控管理工具的研究[J]. 李济伟,董耀众,宋瑞. 电子制作. 2020(01)
[2]一种改进的ELK日志采集与分析系统[J]. 鲜征征,叶嘉祥. 软件导刊. 2019(08)
[3]分布式日志采集系统设计[J]. 代乾坤. 电脑知识与技术. 2019(17)
[4]大数据技术进展与发展趋势[J]. 张娜,马燕,崔桓睿,刘逗逗. 通讯世界. 2019(02)
[5]利用Kafka实现大话务并发数据流的吞吐系统[J]. 唐颖淳. 电信科学. 2018(S2)
[6]基于kafka消息平台的软件系统设计[J]. 裴宏祥,于晓虹. 电子技术与软件工程. 2018(18)
[7]基于大数据技术的日志分析体系结构的研究[J]. 张建东. 现代计算机(专业版). 2018(09)
[8]基于Hadoop平台的Web日志业务分析[J]. 张俊瑞,代洋. 山西电子技术. 2017(06)
[9]应用软件运行日志的收集与服务处理框架[J]. 张骁,应时,张韬. 计算机工程与应用. 2018(10)
[10]日志分析技术在IT运维管理中的应用[J]. 周航,毕永军. 金融电子化. 2017(03)
硕士论文
[1]基于大数据的新闻日志分析系统的设计与实现[D]. 冯岩.北京邮电大学 2019
[2]企业级分布式数据集成平台的设计与实现[D]. 何学平.西安电子科技大学 2019
[3]基于大数据的日志采集分析系统的研究与实现[D]. 杨恺.华北电力大学 2019
[4]基于Spark Streaming的实时日志分析与信息管理系统的设计与实现[D]. 王梦蕾.哈尔滨工业大学 2018
本文编号：3414815
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3414815.html
