基于Hadoop的图算法在电信社会网络分析中的应用

发布时间：2019-09-03 15:50

【摘要】：大数据处理技术在当今数据时代应运而生并以飞一般的速度进步和发展着,各行各业也无一例外迫不及待地将这项技术引入到各自的领域中。电信行业掌握着人们日常通信的脉搏,拥有着数以亿计的用户,时时刻刻都在产生着用户的通话、消费、上网等数据。运营商从不同的角度深入分析,以得到支撑它们商业运营的数据基础。其中非常重要的一种应用就是对其用户所形成的社会网络进行分析。而运用大数据处理技术可以极大提高运营商获取数据分析结论的速度。现今Hadoop MapReduce可谓是公认的大数据处理的翘楚,本文借助该计算框架来进行社会网络分析算法的并行化。首先,基于要确定电信运营商网络中用户传播价值的需求,本文结合集中式计算时代被广为认可的快速中介中心度算法设计了 MR-BC算法,并针对此算法的高迭代复杂度、高数据空间复杂度等问题,结合MapReduce编程框架的原理和优化策略,实现了 MR-BC算法的优化。社区是社会网络分析中另一十分重要的研究要点。电信运营商可以通过这种分析手段,了解其用户的通信行为,模拟用户在实际生活中的人际关系,便于进行用户的定位。本文深入学习研究了最为流行的被应用在不同类型网络中来进行的社区发现的方法——派系过滤算法的原理,分析了该算法对存储、IO等方面的计算需求,以算法可以基于本地网络拓扑逻辑为依据,确定该算法并行化的可行性,以解决派系过滤算法的计算挑战为目的,结合MapReduce计算框架设计并实现并行计算模型下的MR-CPM算法,对该算法的分布式设计思想和算法流程进行了详细的阐述。
【图文】：

处理过程,数据元素

式通常就是由数据元素或记录以一定的结果重复组成，例如，大量重复性的访问逡逑日志构成了邋Ｗｅｂ访问日志数据文件，顺序式的扫描处理方式正好适合于用来对逡逑这种顺序式数据形式进行处理。图３－１展示了上述典型的顺序式大数据处理过程逡逑的抽象以及特征：逡逑对欠最顺序式数据元素／记最进行扫描逦＂］逦逦逡逑ｂ）对每个数据元素／记录做感兴趣的处理，获取感兴趣的ｉ＝Ｃ＞邋Ｍａｐ逡逑中间结果信息逦逦逡逑Ｖ逦邋ｙ逡逑Ｃ＞排序和整理中间结果以利后续处理逡逑—逡逑ｄ）收集整理中岤逦Ｒｅｄｕｃｅ逡逑ｅ＞产生最终结果输出逦逦逡逑＼逦邋邋邋ｙ逡逑图３－］大数据的处理过程的抽象逡逑ＭａｐＲｅｄｕｃｅ将图３－１中的两个处理过程进行了抽象，把图３－１中展示处理过逡逑程中的前两步在Ｍａｐ操作中完成，而Ｒｅｄｕｃｅ操作承担后两步的处理任务。具体逡逑来说，在Ｍａｐ0方法中，计算框架会以某种重复的方式主对一组数据记录进行某逡逑种处理，，而在Ｒｅｄｕｃｅ（）方法阶段，就需要以某种方式整理Ｍａｐ（）方法输出的中间逡逑结果，并输出进一步的结果。逡逑３．２邋Ｈａｄｏｏｐ邋ＭａｐＲｅｄｕｃｅ的主要功能和技术特征逡逑３．２．１邋ＭａｐＲｅｄｕｃｅ的主要功能逡逑通过数据处理模型的抽象和计算框架的分布式自动化，ＭａｐＲｅｄｕｃｅ把做什逡逑么与怎么做解耦开

单源,节点,目的节点,前向

邋ｐｄ］逡逑将Ｖａｌｕｅ结构抽象成实现Ｈａｄｏｏｐ序列化框架Ｗｒｉｔａｂｌｅ的类型Ｎｏｄｅ，其ＵＭＬ逡逑及字段解释如图４－２所示：逡逑令逡逑ｉ逡逑－ｄｅｓｔ：目的节点ｉｄ逦ＢＢＳ逡逑—丽：研辱涵吾——逡逑．．．．．．．邋逦逦逦逦逦逦逦逦逦逦逡逑？ｐｍｃｅｓｓｊｔａｔｕｓ：节廉处理状态邋逦逦逦逦—邋？邋ｐ？邋Ｐｅｎｄｉｎｇ逡逑￣邋ｐｒｅｄｅｃｅｓｓｏｒｓ：自＿节点扢前福逦－＃海rP茫酰颍颍澹睿簦rP校恚悖恚螅]3?＾邋＾逦－－—＊—邋逦逦逡逑逦朱口逦邋－Ｄ：邋Ｄｏｎｅ逡逑－ｄｉｓｔａｎｃｅ：目的节点与＿节点间：逡逑逦逦逦的距？邋逦逡逑－ｎ晒：自的令点与源节点间的逡逑逦最短路径数逦——逡逑－ｐｄ：逡逑图４－２单源ＭＲ－ＢＣ算法的Ｖａｌｕｅ数据结构定义逡逑４．２．２．２前向遍历的ＭａｐＲｅｄｕｃｅ算法逡逑前向遍历即是用ＢＦＳ算法来实现图的遍历，并记录下作为反向回溯是计算逡逑依据的必要信息。在前向遍历过程正式开始之前，需要对图中所有的节点进行初逡逑始化，以得到ＭａｐＲｅｄｕｃｅ作业所需的输入形式。输入的键即为各个用户的手机逡逑号码；Ｖａｌｕｅ中各个字段的初始化规则如下：逡逑＞逦Ｎｏｄｅ．ｄｅｓｔ初始化为节点本身的ＩＤ，即与键相同的用户电话号码；逡逑Ｎｏｄｅ．ｎｂｒｓ初始化为前一节中的关系过滤算法的到的结果；逡逑＞逦Ｎｏｄｅ．ｐｒｏｃｅｓｓ＿ｓｔａｔｕｓ初始化为尚未处理
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13

【参考文献】