云环境下大数据图的概括化理论与应用研究

发布时间：2020-06-11 01:33

【摘要】：近年来,由于移动网络的迅猛发展,网络设备接入量的迅速扩张,计算机和社会网络领域中的数据规模急剧增长。图数据结构能够很自然地对数据间的关联、依赖等关系进行表示,因此,目前云环境下的数据一般采用图作为数据结构进行管理和操作,然而,传统的图分析工具和算法对处理如此庞大规模的数据逐渐显得力不从心。对传统经典的工具和技术针对处理这种具有大规模数据的图进行更新与完善,比如如何缩小这种图数据结构的规模、如何从大规模图数据结构中提取信息是极具挑战和价值的问题。最小化大数据图数据结构的规模,并且保留原数据集的信息,使之能够被现有的针对传统数据规模的数据挖掘、信息提取、推荐系统等技术所用,即为图的最小化理论,该部分的研究成业已成为学术界和工业界所关注的焦点。鉴于诸多现代化技术为了提高处理效率均引入了虚拟化的思想,比如虚拟化网络、虚拟化存储等等新兴技术,这些技术都在计算机科学领域产生了重要影响。为了提升挖掘大规模图数据的效率、更有效地处理大规模图数据,通过借鉴虚拟化思想,我们提出了一种称为“vGraph”的新方法。vGraph在基于原始大规模数据图的所在的数据平面之上创建一个新的虚拟平面,并在其中构建新的图。这个方法通过针对原始数据平面的节点和边,采用其累计相似度的计算值来创建虚拟节点和虚拟边。通过在虚拟数据集和现实世界的数据集上进行实验,我们证实了在处理大规模图数据的过程中,采用vGraph方法能够有效地减少数据处理的计算量,并且减少内存使用、提升处理速度。并且,无论是从时间,还是在空间方面,使用vGraph代替目前的大数据图数据结构都是行之有效的。在云环境下,通过应用本文提出的大数据图的最小化理论,在服务计算场景、电子商务场景以及工业4.0场景,均得到了良好的实践效果。1)服务计算(Service Computing)的发展促进了一切皆服务(XaaS)时代的来临,同时也为云计算带来了重大变革。它为商业建模,管理和电子商务等领域提供了新的机遇。在线购物是电子商务领域的一个受众最广的应用,但是,在发展中国家,特别是农村地区电子商务普及率不高的现象依旧存在。互联网接入量低,互联网用户少,信用制度不完善是阻碍发展中国家在电子商务领域发展的显著原因。电子商务中顾客和线上卖家之间存在具有大规模数据的图结构,本文以该数据图结构出发,提出了一个基于云服务中心的OSaaS模型。实验结果表示,通过应用该模型,可以提高用户针对在线购物应用的使用率,并扩大交易数据的规模。该模型引入了在消费者和在线卖家之间扮演第三方角色的云服务中心,消费者可以通过电话向当地的云服务中心下订单,也可以通过访问位于社区的服务点下订单获取所需产品。实验分析同样表明,采用这种方式可以加速在线购物应用在发展中国家的发展。2)信息和通信技术的迅速发展同样冲击着传统交易平台,将世界贸易推向了信息时代。由于信息通信技术的迅速发展,发达国家的电子商务数据的来源已经从传统单一的桌面计算机转变成多元化的智能终端。相反,由于一些障碍,发展中国家对电子商务接受程度(表现为电子商务大数据图的生成速度)进展缓慢。这主要是由于发展中国家相比发达国家缺少新兴的信息通信技术,文盲率较高,社会信用保障体系不健全,公民对新兴技术的接受度不高,互联网接入数量有限等现实因素。本文以发展中国家巴基斯坦为例,通过研究电子商务大数据图的生成速度,间接研究在线购物应用在国内发展的限制因素,挑战和屏障。并在具有充分理论研究的基础上提出了一个研究模型,实证分析展示了目前巴基斯坦国家为了提高在线购物应用的普及率所面临的主要屏障与困难。3)随着工业4.0的发展,世界正处于工业自动化技术的一个新的创新时代的开端。全球现代工业系统融合了机器,计算,分析,物联网,云系统和自动化数据交换的能力。工业4.0是数字工厂和智能产品数字世界的革命。工业4.0聚焦网络物理系统、产品线智能化、人机交互、3D打印等新兴技术,它是多学科技术的集成化,用户仅需通过简单交互即可得到令人难以置信的便捷服务。物联网技术的蓬勃发展使得设备可以轻而易举地增加通信功能与其他设备进行交互,从而连接了整个智能机器世界。与此同时,也同样产生了不可同日而语的数据规模,大数据给这些系统带来了新的机遇。本文以工业4.0下的云环境为背景,探讨了如何应用大规模图提取摘要信息技术。该部分的研究成果有助于研究人员在工业4.0领域中的云环境下以此作为设计原型,进而设计不同生产环节中的大数据图提取摘要信息技术。
【学位授予单位】：南京大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP311.13
，

本文编号：2707181