网络流数据可视分析系统的设计与实现

发布时间：2020-10-09 20:22

　　 网络流数据通常是由监控设备采集的大量网络日志数据。作为网络事件的重要载体,网络流数据是分析人员对网络运行状况进行评判的重要依据。网络流数据的数据维度较多、数据量庞大、分析层次多样,利用传统的分析方法难以对其进行全面细致的探索,同时给分析人员带来繁重的认知负担。可视分析方法以可视化的手段对数据进行处理,结合用户交互使分析人员可以快速从海量数据中挖掘有价值的信息,以便做出有效决策。当前,网络流数据的可视分析需要解决以下问题:一方面,针对网络流数据的多层次性以及主机关联性等特征,提出有效的分析方法。现有方法聚焦于单一层次,难以实现多角度分析。另一方面,根据分析对象的特点以及网络流数据的多元时变性,设计合理的编码与视图,从而实现可视分析的高效性。本文针对以上两大问题,对网络流数据可视分析方法进行研究,研究成果主要为以下三个方面:1.针对网络流数据的多层次性和主机关联性特征,设计了多层次关联可视分析模型,实现了由整体到局部、由局部到个体以及由点到面的可视分析。多层次关联可视分析模型包括数据转换、可视分析和视图生成等功能,其中可视分析为该模型的核心功能。可视分析分为多层次分析和关联分析。多层次分析以网络流数据的多层次性特征为背景,设计了整体时序分析的宏观层次,局部时序分析的中观层次,以特定主体为研究对象的微观层次,实现整体到局部以及局部到个体的分析流程。关联分析利用网络流数据的主机关联性特点,构建主机间的关系网络,分析主机节点间的关联规律,获取关系密切的主机节点,实现由点到面的分析流程。2.根据上述多层次关联可视分析模型,结合网络流数据的多元时变性特点,对视觉编码、视图与布局等进行详细设计与实现。多层次关联可视分析模型提供了可视化设计需要的分析对象、分析流程以及目标输出等内容,同时,网络流数据的多元时变性特征需结合经典的多元时变数据可视化方法。基于以上两点,本文对网络流数据可视化的视觉编码、视图与布局等进行了改进与详细设计,高效地完成了分析任务,实现了对多层次关联可视分析模型以及多元时变数据的可视化表达。3.基于上述方法,实现了网络流数据可视分析系统,该系统结合丰富的人机交互功能实现了对网络流数据的可视分析。采用权威性的VAST挑战赛的数据集对本系统进行案例评估,通过多层次分析和关联分析完成了各项分析任务,实现了对相关案例的实验分析,证明了本系统的有效性以及实用性。
【学位单位】：西安电子科技大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.06
【部分图文】：

数据可视化的基本流程如图 2.1 所示，主要包括数据处理、视觉编码和布局、视图生成、交互等操作。下面对这些操作进行详细说明。图2.1 可视化基本流程图1. 数据处理数据处理将原始数据执行数据清洗、数据规范、数据分析等操作。将脏数据过滤，剔除与目标无关的冗余数据，利用一些求和、方差、期望等数据分析与统计方法以及各种复杂的数据挖掘方法将数据调整为可视化系统可接受的数据格式。数据处理可将原始数据进行提炼与简化，保证将有效的信息知识与相应的上下文结构保存下来。2. 视觉编码和布局视觉编码是数据可视化的核心内容，它利用位置、大小、尺寸、色彩、形状等视觉通道映射需要展示的数据维度。视觉编码的核心工作为如何在多样性的视觉呈现空间中选择最合适的编码形式，这需要可视分析工作者对目标任务、数据属性、用户感知与认知能力等进行判定。设计相应的可视化布局以呈现数据结构与视觉编码。3. 视图生成视图生成将之前处理好的数据以及设计的视觉编码和布局方法付诸实践，利用工程方法生成最终的可视化视图，在视图生成过程中可进行需求的调整与迭代，以达到最完美的效果。

析了可视化的基本流程，该流程为当前可视化工作通用的方出了针对不同环境的流程模型，如线性模型、循环模型和嵌DataAnalysiswtaPrepareddataFocusdataGeometricdataFiltering Mapping Rendring图2.2 线性模型 Haber 等[24]提出了针对科学可视化的早期可视化流水线，模型。如图 2.2 所示，它包含了数据分析、过滤、映射和绘到可视空间的转换。线性模型非常直观且容易理解，实现了合。

数据分析、可视化编码等步骤，下半部分是对结果的验证与迭代。通过不断的验证与迭代分析进行各个步骤的调整，使可视化结果更符合任务目标。图2.4 嵌套模型纵观上述提及的可视化模型，虽有差别，但基本流程是类似的。均需经过可视化基本流程中提及的数据处理、可视化编码、可视化布局和视图生成等步骤，因此其本质是相同的。2.1.2 数据模型和视觉编码数据模型是数据的底层描述，它是数字与符号的组合，包含数据的定义、类型以及数据操作等。概念模型是对数据的高层次描述，利用现实世界中的语义与数据相结合，描述人们对数据的认知[29]。根据不同应用可对数据进行不同分类，比如在计算机存储中有字符串、整型和浮点型等格式；按数据结构分类有数组、栈、队列、图以及树等；而数据可视化则根据测量标度对数据进行分类：类别型数据、有序型数据和数值型数据，其中数值型数据包括区间型和比值型数据

【相似文献】

相关期刊论文 前10条

1 邹永贵;龚海平;夏英;宋强;;一种面向流数据频繁项挖掘的降载策略[J];计算机应用研究;2011年04期

2 李子杰;郑诚;;流数据和传统数据存储及管理方法比较研究[J];计算机技术与发展;2009年04期

3 潘静;于宏伟;;流数据管理降载技术研究综述[J];中国管理信息化;2009年21期

4 刘宇雷;秦小麟;储网林;黄瑛;;流数据复杂聚类查询处理算法[J];南京航空航天大学学报;2009年06期

5 冯卫兵;李战怀;;流数据的连续查询优化技术[J];计算机应用研究;2008年01期

6 刘学平;;利用点击流数据提供个性化信息服务的模式研究[J];安徽农业科学;2008年02期

7 刘佳;张芳;刘国华;刘琳;;基于流数据技术的信息监测系统的研究与设计[J];计算机工程;2007年05期

8 李卫民;于守健;骆轶姝;乐嘉锦;;流数据管理的降载技术:研究进展[J];计算机科学;2007年06期

9 饶洋辉;张大斌;;基于点击流数据的电子商务企业客户识别研究[J];管理科学;2006年04期

10 聂国梁;卢正鼎;;流数据密度估计[J];计算机科学;2006年12期

相关会议论文 前10条

1 金福才;;数据切片及其在铁路车流数据查询中的应用[A];第十二届中国智能交通年会大会论文集[C];2017年

2 刘正涛;毛宇光;吴庄;;一种新的流数据模型及其扩展[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

3 姚春芬;陈红;;分布偏斜的流数据上的一种直方图维护算法[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

4 张洪芹;田向军;;NLS-4DVar的新发展[A];第35届中国气象学会年会 S9 卫星资料同化[C];2018年

5 孙焕良;赵法信;鲍玉斌;于戈;王大玲;;CD-Stream——一种基于空间划分的流数据密度聚类算法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

6 刘建伟;于守健;乐嘉锦;;基于Web服务资源框架的流数据查询处理系统[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

7 倪晟宇;;在流数据模式下计算最长递增子序列长度[A];2005年全国理论计算机科学学术年会论文集[C];2005年

8 何星星;谢伙生;;流数据中一种高效剪枝的频繁序列挖掘算法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

9 李晓丽;王彤;杜振龙;;基于粗糙集理论的流数据最优特征选择[A];第二十二届中国数据库学术会议论文集（研究报告篇）[C];2005年

10 孟军;姜军晓;刘秋水;;基于滑动窗口的流数据频繁模式挖掘算法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

相关重要报纸文章 前10条

1 本报记者 钟文 杨彩华;我市将于2020年全面建成中国一流数据强市[N];成都日报;2016年

2 记者 方晓淦;查找差距 补齐短板 强化服务[N];北海日报;2016年

3 本报记者 杨博;WTO报告预测本季全球贸易增长将持续低迷[N];中国证券报;2016年

4 记者 李媛婧 通讯员 钟全龙;重庆移动流数据技术实时追踪营销效果[N];人民邮电;2014年

5 记者 胡宇芬;轻松应对TB级海量信息[N];湖南日报;2010年

6 ;实用的3S2000ERP系统[N];中国机电日报;2001年

7 ;超越数据流极限[N];网络世界;2005年

8 记者李崎;数据产业扎实推进[N];秦皇岛日报;2012年

9 ;“国家数据”为民服务[N];中国计算机报;2014年

10 岭之南;让数据“活”起来[N];中国税务报;2015年

相关博士学位论文 前10条

1 刘建伟;流数据查询系统结构及模式查询算法的研究[D];东华大学;2005年

2 聂国梁;流数据统计算法研究[D];华中科技大学;2006年

3 李卫民;流数据查询算法若干关键技术研究[D];东华大学;2008年

4 丁智国;流数据在线异常检测方法研究[D];上海大学;2015年

5 于程程;面向评测基准的社交流数据生成[D];华东师范大学;2016年

6 杨定裕;实时流数据分析的关键技术及应用[D];上海交通大学;2015年

7 屠莉;流数据的频繁项挖掘及聚类的关键技术研究[D];南京航空航天大学;2009年

8 徐小维;面向大数据的相似度度量的加速研究[D];华中科技大学;2016年

9 郑晔;时空流计算模型及其在边缘计算环境下的验证[D];浙江大学;2017年

10 甘亮;面向网络安全监控的流数据处理技术研究[D];国防科学技术大学;2011年

相关硕士学位论文 前10条

1 藕雪婷;基于溯源数据与流数据的IP属性分析[D];哈尔滨工业大学;2018年

2 糜俊;基于流数据的负载降维模型[D];南京邮电大学;2018年

3 陆丛;多维流数据的可视分析方法研究[D];武汉理工大学;2017年

4 郭玲云;网络流数据可视分析系统的设计与实现[D];西安电子科技大学;2018年

5 敖菁;一种分布式半结构化流数据查询技术[D];北京工业大学;2017年

6 卢冠孜;基于SPARQL的链接流数据查询方法研究[D];大连海事大学;2017年

7 王雄斌;面向大规模多源传感流数据的关联在线检测方法[D];北方工业大学;2017年

8 王绍辉;流数据协议特征分析[D];电子科技大学;2016年

9 贾立峰;流数据中频繁模式挖掘算法的研究[D];吉林大学;2006年

10 辛波;基于InfoSphere Streams的流数据分析及应用[D];武汉理工大学;2014年

本文编号：2834150