基于改进的MapReduce并行计算框架的网上拍卖系统

发布时间：2018-05-17 04:05

  本文选题：网上拍卖 + MapReduce并行计算框架　； 参考：《西安电子科技大学》2013年硕士论文

【摘要】：伴随着电子计算机以及网络技术的飞速发展，人们逐渐习惯于在网上进行交易。在这样的背景下，网上拍卖快速发展起来，成为电子商务的重要组成部分。同时，作为云计算中的关键技术，MapReduce并行计算框架正逐渐在海量数据处理领域得到广泛应用。 本文改进了MapReduce并行计算框架，并在此基础上设计开发了一个网上拍卖系统。首先，通过对已有网上拍卖模式进行调研分析，设计了基于英式拍卖改进的网上拍卖流程，解决了投标者随意报价和临近拍卖结束时突然报价的问题；然后，，深入研究了MapReduce并行计算框架，分析了传统的MapReduce中存在的数据倾斜问题和输出数据格式限制问题，分别提出了基于映射表的数据均匀分配和两次执行reduce操作的解决方案，并据此改进了MapReduce模型架构；其次，采用改进的MapReduce来处理拍卖数据，设计并实现了一个网上拍卖系统；最后，搭建了Hadoop平台环境来进行数据实验，并对网上拍卖流程进行了功能测试，实验结果表明改进方案的优越性及拍卖系统的可用性。
[Abstract]:With the rapid development of computer and network technology, people are gradually used to online transactions. In this context, online auction has developed rapidly and become an important part of e-commerce. At the same time, as a key technology in cloud computing, MapReduce parallel computing framework is being widely used in the field of mass data processing. In this paper, the MapReduce parallel computing framework is improved, and an online auction system is designed and developed. First of all, through the investigation and analysis of the existing online auction mode, the paper designs an improved online auction flow based on the British auction, which solves the problem of the bidders' random quotation and the sudden bidding near the end of the auction. In this paper, we deeply study the MapReduce parallel computing framework, analyze the data skew problem and the output data format restriction problem in traditional MapReduce, and propose a solution of uniform data allocation based on mapping table and twice executing reduce operation, respectively. Based on this, the architecture of MapReduce model is improved. Secondly, an online auction system is designed and implemented by using improved MapReduce to process auction data. Finally, a Hadoop platform is built to carry out data experiments. The function of the online auction process is tested, and the experimental results show the superiority of the improved scheme and the availability of the auction system.
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP338.6;TP393.09

【参考文献】

相关期刊论文 前4条

1 涂俊英;;基于改进的BM算法在Linux入侵检测系统中的应用[J];电脑编程技巧与维护;2010年24期

2 谢安石,李一军;拍卖理论的研究内容、方法与展望[J];管理学报;2004年01期

3 鲁耀斌,张则奇,罗静;Internet环境下的拍卖模式研究[J];计算机应用;2002年01期

4 杜黎,胡奇英;网上拍卖品数量的优化[J];西安电子科技大学学报;2003年01期

相关硕士学位论文 前4条

1 陈香香;云计算中MapReduce性能优化及应用[D];重庆大学;2011年

2 姚强;中国电子商务网站运营情况的研究[D];对外经济贸易大学;2004年

3 景炜;电子政务系统网络安全的研究与应用[D];电子科技大学;2006年

4 王骏飞;在线拍卖系统的分析与设计[D];北京邮电大学;2010年

本文编号：1899819