基于HDFS的微博数据管理系统的设计与实现

发布时间：2020-03-12 08:48

【摘要】：随着Web2.0技术的深入发展,微博作为一种新型媒体出现在人们的视野里。微博以其独有的内容短小精悍、传播速度快、影响范围广等特点受到越来越多的人的关注和喜爱,并已经成为互联网的典型应用之一。随着微博的飞速发展,用户对微博信息的获取需求也呈直线上升态势。面对每天海量的微博信息,如何快速、准确地找到自己所需要的微博信息是一个亟待解决的问题。本文在对微博特点进行分析的基础上,结合Hadoop分布式系统框架和Lucene全文检索引擎,设计并实现了一套微博数据管理系统。本文首先对系统进行需求分析。然后,采用模块化设计的方法对系统进行总体设计。详细介绍了微博数据抓取、微博数据预处理、微博数据分布式存储、微博数据倒排索引、微博数据排序以及微博数据检索各个模块的设计与实现。通过系统测试,对系统进行了功能评估。最后,对本文进行了总结并指出了系统存在的不足之处。系统的主要功能是微博数据的抓取、微博预处理、微博存储、微博索引、微博排序和微博检索。为了实现上述功能,本系统采取的关键技术:一是微博Crawler,利用新浪微博开放平台提供的API抓取微博数据;二是分布式存储,微博数据的分布式存储采用HDFS(Hadoop Distributed File System,分布式文件系统),HDFS在廉价的机器和大规模数据集上使用更为适合,在数据访问时可提供高吞吐量,为了完成流式访问数据的目的,HDFS对POSIX放宽了约束。HDFS目前为Apache的顶级项目;三是排序算法,参考了PageRank排序算法的思想,提出了一个微博数据的排序算法。系统利用新浪微博开放平台API抓取微博数据,对系统中的微博数据进行预处理,并采用分布式文件系统HDFS进行存储。采用Lucene全文检索引擎和MapReduce编程模型,利用Lucene提供的索引引擎建立微博数据的倒排索引。针对微博数据的特点,利用Lucene提供的查询引擎,设计并实现了一个微博排序算法,从而大大提高了微博数据的检索效率。在面对海量的微博信息时,用户可以更加快速、准确的找到自己所需的信息。
【图文】：

图 2-7 微博检索用例图分析最终结论系统实现目标、系统开发环境、系统运行环p 中的 HDFS 分布式文件系统和 MapReduc提供了实践依据，利用了 Lucene 提供的索排序提供了理论依据。数据中采用 HDFS 分布式文件系统进行存性和广泛性。HDFS 分布式文件系统能够收便用户通过关键词来检索系统中的微博数回更多的相关微博数据。实现微博数据的新速度快，具有实时性的特点，要保证微

微博Craw
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52;TP393.092
，

本文编号：2586510