基于Flink平台的数据溯源系统研究

发布时间：2024-05-19 07:35

　　近年来,由于互联网的普及以及上网人数的增长,人们网络活动产生的数据量也呈现了爆发性地增长。大数据在为各行各业的发展提供帮助和价值的同时,也给信息安全带来了新的挑战。特别是在一些企业和各类机构中,对于大量流入流出的数据,如何确保流量都是安全的,是一个非常重要的问题。而数据溯源技术,就是这样一个追溯数据的来龙去脉的技术,这对于各类组织的数据保护和机密信息流通控制也是非常有帮助的。数据溯源是一个相对较新的研究领域,主要是记录特定数据的传播途径,并在事后做到可追溯的一种服务功能。它作为企业信息安全控制的重要功能,一直以来面临着与高昂的管理成本冲突的尴尬。因此本文提出了一种全新的数据溯源算法,尝试通过主动监听企业内部流量数据的方式,并通过协议还原算法还原出文档内容,归档后根据结果来记录传播路径,从而破除传统的数据溯源技术所具有的瓶颈。为了适应大数据时代,数据量大,吞吐量大的特点,本文还在提出了新的算法之后,将算法迁移至了大数据流计算平台Flink上。依托Flink优秀的分布式特性实现灵活的调度,配置和可扩展性,保证了稳定而可靠的数据溯源实现。流程上,通过在关键节点设置抓包节点,采集流量数据,并将...

【文章页数】：82 页

【学位级别】：硕士

【部分图文】：

图2-1语法树分析示意图

上海交通大学硕士学位论文-11-建立文法树并提取相应语义[33]。此方法以语言学家为主导，主要思想在于先将自然语言描述的文本全量转化为计算机可处理的抽象语义，进而使用自定义的朴素算法对这种结构化描述根据不同的目的进行处理。这种做法的好处是算法具有充分的可解释性和描述性，同时，研究....

图2-2One-hot编码示例

上海交通大学硕士学位论文-12-那么每个词语可以直接被抽象字典中的一个编号（如Want为Word0，You为Word1）。使用这种编码进行预处理的意义是直接简化词语原本的表征的抽象，降低研究维度。一个one-hot编码的文本就是一个多维向量，向量的维度就是所有出现过的词语，而每一....

图2-3简单循环神经网络示意图

上海交通大学硕士学位论文-14-一样的。对于文本预测而言，该输出为可能的单词。图中的U、W、V是网络的权重参数，对于神经网络来说，这些参数是共享的。所以这也极大地缩小了参数空间。图2-3简单循环神经网络示意图Fig.2-3Asimplerecurrentneuralnetwork....

图2-4循环神经网络的长期依赖性Fig.2-4Long-termdependenciesofRNN

上海交通大学硕士学位论文-14-一样的。对于文本预测而言，该输出为可能的单词。图中的U、W、V是网络的权重参数，对于神经网络来说，这些参数是共享的。所以这也极大地缩小了参数空间。图2-3简单循环神经网络示意图Fig.2-3Asimplerecurrentneuralnetwork....

本文编号：3977801