结合Hadoop大数据处理框架的智能快递信息系统设计与实现

发布时间：2017-04-25 20:13

  本文关键词：结合Hadoop大数据处理框架的智能快递信息系统设计与实现，由笔耕文化传播整理发布。

【摘要】：互联网经济和在线服务的飞速发展带领我们进入了信息化的社会。互联网技术的进步和移动设备的普及带来了巨大的机会,同时也提出了新的挑战。信息服务必须时刻关注最新技术,需要深刻地为客户考虑。快递服务提供商不但要保证能为客户提供及时,可靠的信息服务,还要关注信息系统的使用体验,关注用户对细节的感受,关注多样化用户的不同需求。现代互联网中,信息系统既要满足多样的需求,也要面对大量高并发的数据请求。这对服务系统和数据系统工程提出了巨大的要求。本文针对这个情况,进行了以下几方面的工作。1NodeJS Express V81、提出使用高性能轻量化的NodeJS服务框架Express来搭建信息服务系统。利用V8引擎的性能优势,减少了成本,降低了开发难度,提高了程序的响应速度。2、对系统数据模型进行了重新设计,并创新性的使用了开源的非关系型数据库Mongo DB。使得系统数据模式更加灵活,更加适合大数据处理。3、同时结合当前Web2.0时代应用设计的流行趋势,为系统设计了对用户友好的UI。独立搭建完成了信息系统的主要部分,并对业务流程和程序性能两方面进行了测试。结果令人满意,系统基本达到了现代Web应用的要求。4、快递系统在实际应用中,会产生大量的,复杂的数据。考虑到数据中蕴含的巨大价值,如果能够得以利用,将进一步提升快递服务的效果。本次研究搭建了一套Hadoop大数据框架,并结合快递系统的业务特性,编写相关脚本进行了测试,对大数据在快递信息系统中的运用进行了探索。本次研究提出了一种解决快递信息需求的新的Web应用架构,经测试具有较高的性能和较好的用户体验,并研究了Hadoop大数据框架在快递信息服务中的作用。
【关键词】：快递信息系统 NodeJS Hadoop 大数据
【学位授予单位】：北京建筑大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;F259.2
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 第1章 绪论8-13
• 1.1 课题背景及研究的目的和意义8
• 1.2 本文针对的问题8
• 1.3 大数据理论的介绍8-9
• 1.4 HADOOP大数据框架的发展9-10
• 1.5 互联网WEB应用的发展介绍10-11
• 1.6 本文的内容和结构11-12
• 1.6.1 论文主要的工作11-12
• 1.6.2 论文的结构12
• 1.7 本章小结12-13
• 第2章 现代WEB应用的技术和设计13-22
• 2.1 现代WEB应用13
• 2.2 超文本标记语言(HTML)13
• 2.3 层叠样式表(CSS)13-14
• 2.4 JAVASCRIP网页脚本语言14-15
• 2.5 后端框架和技术15
• 2.6 NODEJS开发框架15-16
• 2.7 EXPRESS后端框架16-18
• 2.7.1 Express框架的基本原理16-17
• 2.7.2 Express框架Request和Response对象17-18
• 2.8 WEB恶意攻击和网络安全18-20
• 2.8.1 针对Web的攻击19-20
• 2.9 数据库的介绍和选择20-21
• 2.10 本章结论21-22
• 第3章 HADOOP大数据框架及相关生态22-31
• 3.1 引言22
• 3.2 分布式文件系统的理论22-23
• 3.3 HADOOP的资源管理23-24
• 3.4 HADOOP生态中的常用组件24-26
• 3.4.1 Hadoop的类SQL开发引擎Hive24-25
• 3.4.2 Hive的架构和其含义25
• 3.4.3 Hive与数据库的区别25-26
• 3.4.4 Hive的性能分析26
• 3.5 HADOOP的WEB页面服务HUE26-27
• 3.6 HADOOP架构相关生态的总结27-28
• 3.7 HADOOP在实际生产环境中的应用28-29
• 3.8 HADOOP大数据生态的优点29
• 3.9 HADOOP在快递信息系统中的作用29-30
• 3.10 本章总结30-31
• 第4章 快递信息服务系统的设计与实现31-56
• 4.1 本章概述31
• 4.2 系统需求分析31
• 4.2.1 普通客户31
• 4.2.2 快递人员31
• 4.2.3 网点管理工作人员31
• 4.2.4.数据管理和分析人员31
• 4.3 系统硬件架构31-32
• 4.4 系统的软件架构32-33
• 4.5 系统数据模型分析33-34
• 4.6 系统数据模型设计34-38
• 4.7 MONGOOSE数据库引擎38-42
• 4.8 系统的UI设计42
• 4.9 页面的结构和设计。42-51
• 4.9.1 页面头部的设计43-44
• 4.9.2 客户功能页面的设计44-49
• 4.9.3 员工页面的UI和功能设计49-51
• 4.9.4 前端UI设计总结51
• 4.10 服务器后端设计与实现。51-53
• 4.11 服务器运维53-54
• 4.11.1 PM2与Nodejs服务监控53
• 4.11.2 PM2监控脚本53-54
• 4.12 本章总结54-56
• 第5章 快递信息服务系统的测试56-73
• 5.1 系统的业务流程测试56-69
• 5.1.1 测试流程56-69
• 5.1.2 测试结果69
• 5.2 系统性能优化和测试69-72
• 5.2.1 前端性能优化的方法69-70
• 5.2.2 前端优化代码70-71
• 5.2.3 性能优化测试结果71-72
• 5.3 本章总结72-73
• 第6章 利用HADOOP对快递信息系统进行大数据优化的探索73-86
• 6.1 平台的搭建73-81
• 6.1.1 系统平台的参数73
• 6.1.2 系统的准备阶段73
• 6.1.3 配置SSH免密码登录73-74
• 6.1.4 Hadoop的环境配置74-77
• 6.1.5 测试Hadoop集群77-78
• 6.1.6 Word Count测试78-79
• 6.1.7 配置Hive和Hue79
• 6.1.8 配置HUE79-80
• 6.1.9 配置HIVE80-81
• 6.2 HADOOP集群在快递系统中运用的探索81-85
• 6.2.1 利用Hadoop计算快递运单处理事件的时间82
• 6.2.2 实验设计82-83
• 6.2.3 Hadood框架测试脚本代码83-85
• 6.3 本章总结85-86
• 结论86-87
• 参考文献87-89
• 致谢89-90
• 附录 部分程序代码90-101

【相似文献】

中国期刊全文数据库 前10条

1 田洁;战略信息系统在企业业务层的应用[J];中国信息导报;2000年08期

2 郭清顺,李丛信,林冬梅;对信息系统建设中若干成功要素的分析[J];中山大学学报(自然科学版);2001年S1期

3 项振茂,胡建,郭雷英;谈公安计算机信息系统建设[J];公安学刊(浙江公安高等专科学校学报);2002年03期

4 李健艺;铁路企业发展信息系统的探讨[J];甘肃科技纵横;2003年02期

5 赵文;医院信息系统的现状与展望[J];山东电子;2003年02期

6 罗艳丽,何钟j;医院信息系统的建设与思考[J];医学信息;2003年12期

7 本刊编辑部;信息系统100改变我们[J];信息系统工程;2003年12期

8 沈彤;;零售业信息系统的“真金”是什么[J];信息与电脑;2003年07期

9 冯伟;洪波;;对医院信息系统建设的几点建议[J];中国中医药现代远程教育;2004年10期

10 王国强,武丽娟;医院信息系统的建设探讨[J];长治学院学报;2005年02期

中国重要会议论文全文数据库 前10条

1 宁家骏;;现行信息系统的评估问题[A];第十一届全国数据库学术会议论文集[C];1993年

2 EUgena Staffa;;有效的减灾信息系统[A];联合国国际减轻自然灾害十年论文精选本论文集[C];2004年

3 刘敏豪;邬倩倩;于兴康;;医院信息系统在我院门诊调剂流程的应用体会与思考[A];2014年广东省药师周大会论文集[C];2014年

4 李岩;;计算机信息系统的安全管理[A];第十八次全国计算机安全学术交流会论文集[C];2003年

5 韩东;孙大文;;一个信息系统生效模型及在我国企业的应用分析[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年

6 蔡连生;;浅析企业计算机信息系统的解决方案[A];第二届全国特种电源与元器件年会论文集[C];2002年

7 张毅;许涛;;信息系统在医疗行业中的应用[A];第六届全国计算机应用联合学术会议论文集[C];2002年

8 胡石元;刘耀林;唐旭;刘洋;潘润秋;;城镇土地定级估价信息系统的设计与实现[A];新世纪土地问题研究[C];2002年

9 廖欣;;医院信息系统建设引入信息工程监理机制的探讨[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

10 宋子岭;;地质信息系统的建立及其在矿业中的应用[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年

中国重要报纸全文数据库 前10条

1 苏凤轩;信息系统：物流的灵魂[N];中国交通报;2000年

2 张长青　姜金贵 史同波;悟透基于信息系统的体系作战[N];中国国防报;2010年

3 本报记者 郝宏升　通讯员 侯俊 方丽玲;河南经验：信息系统，建得好更要用得好[N];国家电网报;2011年

4 商蓉蓉;信息系统：如何从“让我用”到“我要用”[N];建筑时报;2013年

5 王甲佳;谁做企业信息系统的当家人[N];中国信息化周报;2014年

6 本报记者 韩国卿;国内保险信息系统需上台阶[N];中国保险报;2001年

7 尹伊俪;信息系统，何去何从[N];中国建材报;2005年

8 杨周南;企业建立信息系统的三大误区[N];财会信报;2005年

9 杨周南;信息系统的发展[N];财会信报;2005年

10 杨周南;建立信息系统的可行性分析体系[N];财会信报;2005年

中国博士学位论文全文数据库 前10条

1 肖明;柴达木盆地枸杞质量安全评估与信息系统建立研究[D];石河子大学;2014年

2 吴明渊;某些Domain的信息系统和闭包空间表示[D];湖南大学;2016年

3 王姣;组织间信息系统协同形成机理研究[D];吉林大学;2008年

4 吴江;组织—信息系统互动动态网络模拟研究[D];华中科技大学;2009年

5 梁爱民;大型信息系统柔性体系框架多簇理论研究[D];铁道部科学研究院;2004年

6 谷勇浩;信息系统风险管理理论及关键技术研究[D];北京邮电大学;2007年

7 杨文彩;企业信息化环境下人—信息系统交互效率影响因素及作用机理研究[D];重庆大学;2007年

8 沈延森;快速可重构信息系统及其关键技术研究[D];南京航空航天大学;2001年

9 王素芬;信息系统中信息实现过程分析及建模[D];东华大学;2007年

10 罗伟其;信息大系统的综合集成方法研究与应用[D];华南理工大学;2000年

中国硕士学位论文全文数据库 前10条

1 杨丽娟;信息系统变更审计的探讨[D];首都经济贸易大学;2008年

2 高鹏飞;L勘察设计院信息化系统实施战略规划研究[D];昆明理工大学;2015年

3 高杉;序信息系统的同态性质[D];渤海大学;2015年

4 刘公明;云计算环境下建筑设备物联网信息系统的应用研究[D];山东建筑大学;2015年

5 常映红;实训教学信息系统的设计与实现[D];电子科技大学;2015年

6 周兵冰;加油站业务统计分析信息系统的设计与实现[D];电子科技大学;2016年

7 邓博;遂宁电力公司绩效考核管理信息系统的设计与实现[D];电子科技大学;2015年

8 肖洋;基于J2EE的应急救援信息系统的设计与实现[D];电子科技大学;2015年

9 许欢;安徽省中医院信息化建设的现状及对策[D];安徽大学;2015年

10 易浩滔;X企业ERP升级的实施方案设计与研究[D];清华大学;2015年

  本文关键词：结合Hadoop大数据处理框架的智能快递信息系统设计与实现，由笔耕文化传播整理发布。

，

本文编号：327001