带层次式网络结构的复杂业务系统组织结构发现算法研究

发布时间：2020-06-05 21:39

【摘要】：随着大数据、云计算、人工智能技术的飞速发展,互联网数据中心(Internet Data Center,IDC)的规模也随之爆炸式增长,作为数据中心安全运行保障的运维管理就显得至关重要。早期的手工运维在业务快速增长、人力成本高的时代难以维系,自动化运维取代人去执行简单重复的工作,提高了运维效率,但随着业务服务复杂多样,基于规则指导的自动化运维日显不足,系统复杂度不断升级、系统架构不断演化,现有的技术使运维部门很难准确、迅速地把控系统架构与系统变更,无法自动感知系统实际变更导致的配置管理数据库(Configuration Management Database,CMDB)中的数据失效问题。然而数据中心每时每刻产生大量的服务器日志数据,如果可以基于这些数据有效地分析出业务系统的组织结构,实现业务系统架构自动化梳理,就能改变传统手工运维的不足,提高运维效率和系统架构图信息时效性。本文基于数据中心采集到的服务器日志数据进行分析,服务器在业务驱动下相互之间会建立TCP连接进行通信协作,因此TCP网络可以反映服务器之间的业务功能逻辑关系。通常业务系统中的服务器以集群的形式对外提供功能服务,并且不同服务器集群在业务处理流程中存在先后顺序之别,因此,复杂业务系统的组织结构是一种带有层次式的网络结构。所以本文将这种带层次式网络结构的复杂业务系统组织结构发现问题分解成服务器集群发现与服务器集群层次发现两个子问题,提出一种基于服务器日志数据的集群发现和层次发现的方法(Cluster Discovery and Hierarchy Discovery,CD-HD)。CD-HD方法基于大数据平台采集的服务器日志数据,首先利用服务器属性和已知的部分服务器的类别标签信息,进行基于服务器属性判断服务器是否属于相同类别的迭代分类器训练,分类器用于判断所有没有类别标签信息的服务器间关系;然后在服务器TCP网络上,计算服务器通信行为模式的相似性,结合分类器对服务器间关系的判断,构建服务器相似度网络,在该相似度网络上,借助社区发现的方法进行服务器集群发现。最后根据业务流确定服务器集群在业务系统中的功能层次,从而实现复杂业务系统组织结构发现。在来自某大型数据中心的真实服务器日志数据集上进行实验,实验结果表明,本文所提出的方法能够有效解决运维领域的复杂业务系统组织结构只能依靠手工绘制的痛点,实现业务系统架构自动化梳理。
【图文】：

复杂系统,复杂网络

北京交通大学硕士学位论文逦相关知识理论基础逡逑２相关知识理论基础逡逑２．１复杂网络定义逡逑系统是由相互作用和相互依赖的若干组成部分结合的具有特定功能的有机整逡逑体［２６］，世界上存在很多复杂的系统，如果把组成部分抽象成节点，把相互作用和相逡逑互依赖抽象成边，就可以将很多真实的复杂系统抽象成复杂网络。如万维网、因特逡逑网、蛋白质网络、病毒传播网络、社交网络、通信网络、科研合作网络、电力网络、逡逑交通网络等大量现实生活中的复杂系统都可以应用复杂网络的理论进行研究。如逡逑图展示了生物领域的复杂系统。逡逑

谱图,算法演示

始化聚类中心的方法有Ｆｏｒｇｙ方法和随机划分方法，Ｆｏｒｇｙ心分散开，而随机划分则使初始聚类中心集中在数据中心的ｎｓ聚类算法，Ｆｏｒｇｙ方法初始化聚类中心的效果会更好一些［４准Ｋ－ｍｅａｎｓ聚类算法等价于最小化欧氏距离来分类观测点，公式，如Ｋ－ｍｅｄｏｉｄｓ算法和Ｓｐｈｅｒｉｃａｌ邋Ｋ－ｍｅａｎｓ算法，，算法以通过设定阈值来结束算法。算法划分的结果受到初始聚次运行无法保证算法收敛到全局最优解，但算法的运行效率中都会以不同的初始聚类中心运行多次来获取更好的划分／ｃ个划分的算法时间复杂度为０（ｎｄｆｃ＋１邋＋邋ｋ＾ｎ），其中ｎ为需类逡逑是一种基于谱图理论的聚类算法，算法将数据集中的对象当
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP308;TP311.13

【参考文献】