企业数据开发系统的设计与实现
发布时间：2021-06-28 21:24
伴随着企业自身业务种类的快速增加以及业务范围的不断扩大,企业所掌握的数据量呈指数级增长。庞大的业务数据量往往蕴含着重要的商业价值。企业发展过程中,企业高层人员逐渐认识到对过往数据的合理使用可以给企业带来丰厚的回报。并且随着大数据技术的日渐成熟,各种商业化且稳定有效的方案可以做到既节约大量的成本,又给企业发展带来合理有效的数据支持。当前企业进行大数据分析主要依靠在分布式集群如Hadoop集群上进行数据存储,使用Hadoop生态圈组件如Hive、Spark、Flink、Storm进行数据的计算,基本涵盖了离线数据仓库、实时计算、实时数据仓库等多个方面的功能建设。通常企业中的运营人员、数据分析人员并非都毕业于计算机类相关专业。他们普遍具有统计学类知识,并且对相关业务领域具有较深的理解,这些人员基本掌握SQL语言但是对于Linux、大数据等技术了解不深。如果直接让运营人员、数据分析人员直接通过CRT或Xshell等工具连接Hadoop集群进行数据分析开发任务,可能存在学习成本高、工作效率低、数据存在泄漏、集群安全性等等一系列问题。但是分析人员又需要可以编写SQL脚本并且对脚本进行试错修改的地方...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图２－１企业数据开发系统功能划分包图??企业数据开发系统的主要使用场景是数据分析人员、数据仓库人员创建数据??
?山东大学硕士学位论文???理需求分析五个主要部分。??２．３．１用户管理需求分析??用户管理模块的主要功能是对用户个人信息以及集群库表权限等内容统一??管理。在用户管理中，使用本系统的数据幵发人员主要可以执行个人权限管理、??申请管理、新手引导设置等相关操作。??用户管理用例图如图２－３所示。??坏境权酵商）??々職限申９??￣ｘ￣???人＼?、￣??数紐发人员???、＾气申请历史麵））??々手引导??、、、＾取新耗丨＾＾??＇Ｖ￣＾??＾在线使ｓ手册ｊ??图２－３用户管理用例图??１．个人权限管理。个人权限管理是指对数据开发人员已经获得的各个集群、??库权限等信息进行管理。主要对用户己具备的集群、库权限进行列表展示、条件??检索。??２．申请管理。申请管理主要以管理数据开发人员在系统中的各项环境、库表??权限的申请为主要任务。由于只申请集群环境而不申请库权限仍会使得脚本无法??读写表，顺利完成数据开发任务。因此申请集群环境只能同时申请一个库权限，??若需申请多个库则提交多次权限申请，选择同一集群环境不同库即可。数据开发??人员申请使用某个集群环境需要提交相应集群环境申请信息，包括申请账号、申??请集群环境、申请库环境、申请原因等。并且在用户管理申请历史中可以对己提??８??
?山东大学硕士学位论文???交申请记录进行査询。??３．新手引导设置。新手引导设置是针对刚开始使用企业数据开发系统用户提??供的指引功能，包括提供新手引导、在线使用手册等。??２．３．２项目管理需求分析??项目管理模块主要针对用户的项目相关信息进行管理。在项目管理模块中，??使用本系统的数据开发人员可以执行普通项目管理、Ｇｉｔ项目管理、项目列表相??关、项目文件维护、项目传输等相关操作。??项目管理用例图如图２－４所示。??Ｘ＂＂＜＜５ｒ＞ｄｕ６ｅ？－??－４—????Ａ．?Ｊ?＜＾ｕｄｅ？?广??＼?＾?’?项目使用?）??数斷发人员???Ｖ?夕??ｒ项＠传输）１＾＼?ｙ项目文件删除１??ｔ?－ｉ?＼??？ｉｎｃｋｉｅ＞＾＇，?ｓ〇％ｔ?ｓ＜ｒ??＾?、、％?１?？目文麟增）??￣??ｋ琐巨文件上传ｊ?Ｌ文件打包下载」??图２－４项目管理用例图??１．普通项目管理。数据开发使用流程中需要首先创建一个项目，可创建的项??９??
【参考文献】：
期刊论文
[1]MySQL得到广泛使用的原因以及它的嵌入应用[J]. 郑智方,魏恺乐,李彬,谢易壮. 科技风. 2020(05)
[2]大数据实时交互式分析[J]. 袁喆,文继荣,魏哲巍,刘家俊,姚斌,郑凯. 软件学报. 2020(01)
[3]基于Hive的高可用双引擎数据仓库[J]. 李翀,张彤彤,杜伟静,刘学敏. 计算机系统应用. 2019(09)
[4]大数据的发展及数据仓库的融合应用[J]. 杨磊. 数字技术与应用. 2019(06)
[5]大数据技术在精准营销中的应用[J]. 张黎平. 电子技术与软件工程. 2019(09)
[6]大数据在企业中的应用[J]. 刘德松. 电子技术与软件工程. 2019(07)
[7]Hadoop变局[J]. 李昊原. IT经理世界. 2018(23)
[8]大数据在企业营销管理中的应用分析[J]. 唐晓燕. 现代国企研究. 2018(20)
[9]大数据的商业应用及问题探究[J]. 郭尧元. 智库时代. 2018(35)
[10]基于阿里云大数据平台的“数据挖掘”课程实验教学方法探讨[J]. 王振武. 实验室研究与探索. 2018(06)
硕士论文
[1]基于Hadoop的离线数据分析平台设计与实现[D]. 朱雪.河北工程大学 2018
[2]基于Hive on Spark的列式存储性能分析和优化研究[D]. 聂伟.华中科技大学 2017
[3]基于hadoop的web管理系统[D]. 金凤.北京邮电大学 2015
本文编号：3255074
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
图２－１企业数据开发系统功能划分包图??企业数据开发系统的主要使用场景是数据分析人员、数据仓库人员创建数据??
?山东大学硕士学位论文???理需求分析五个主要部分。??２．３．１用户管理需求分析??用户管理模块的主要功能是对用户个人信息以及集群库表权限等内容统一??管理。在用户管理中，使用本系统的数据幵发人员主要可以执行个人权限管理、??申请管理、新手引导设置等相关操作。??用户管理用例图如图２－３所示。??坏境权酵商）??々職限申９??￣ｘ￣???人＼?、￣??数紐发人员???、＾气申请历史麵））??々手引导??、、、＾取新耗丨＾＾??＇Ｖ￣＾??＾在线使ｓ手册ｊ??图２－３用户管理用例图??１．个人权限管理。个人权限管理是指对数据开发人员已经获得的各个集群、??库权限等信息进行管理。主要对用户己具备的集群、库权限进行列表展示、条件??检索。??２．申请管理。申请管理主要以管理数据开发人员在系统中的各项环境、库表??权限的申请为主要任务。由于只申请集群环境而不申请库权限仍会使得脚本无法??读写表，顺利完成数据开发任务。因此申请集群环境只能同时申请一个库权限，??若需申请多个库则提交多次权限申请，选择同一集群环境不同库即可。数据开发??人员申请使用某个集群环境需要提交相应集群环境申请信息，包括申请账号、申??请集群环境、申请库环境、申请原因等。并且在用户管理申请历史中可以对己提??８??
?山东大学硕士学位论文???交申请记录进行査询。??３．新手引导设置。新手引导设置是针对刚开始使用企业数据开发系统用户提??供的指引功能，包括提供新手引导、在线使用手册等。??２．３．２项目管理需求分析??项目管理模块主要针对用户的项目相关信息进行管理。在项目管理模块中，??使用本系统的数据开发人员可以执行普通项目管理、Ｇｉｔ项目管理、项目列表相??关、项目文件维护、项目传输等相关操作。??项目管理用例图如图２－４所示。??Ｘ＂＂＜＜５ｒ＞ｄｕ６ｅ？－??－４—????Ａ．?Ｊ?＜＾ｕｄｅ？?广??＼?＾?’?项目使用?）??数斷发人员???Ｖ?夕??ｒ项＠传输）１＾＼?ｙ项目文件删除１??ｔ?－ｉ?＼??？ｉｎｃｋｉｅ＞＾＇，?ｓ〇％ｔ?ｓ＜ｒ??＾?、、％?１?？目文麟增）??￣??ｋ琐巨文件上传ｊ?Ｌ文件打包下载」??图２－４项目管理用例图??１．普通项目管理。数据开发使用流程中需要首先创建一个项目，可创建的项??９??
【参考文献】：
期刊论文
[1]MySQL得到广泛使用的原因以及它的嵌入应用[J]. 郑智方,魏恺乐,李彬,谢易壮. 科技风. 2020(05)
[2]大数据实时交互式分析[J]. 袁喆,文继荣,魏哲巍,刘家俊,姚斌,郑凯. 软件学报. 2020(01)
[3]基于Hive的高可用双引擎数据仓库[J]. 李翀,张彤彤,杜伟静,刘学敏. 计算机系统应用. 2019(09)
[4]大数据的发展及数据仓库的融合应用[J]. 杨磊. 数字技术与应用. 2019(06)
[5]大数据技术在精准营销中的应用[J]. 张黎平. 电子技术与软件工程. 2019(09)
[6]大数据在企业中的应用[J]. 刘德松. 电子技术与软件工程. 2019(07)
[7]Hadoop变局[J]. 李昊原. IT经理世界. 2018(23)
[8]大数据在企业营销管理中的应用分析[J]. 唐晓燕. 现代国企研究. 2018(20)
[9]大数据的商业应用及问题探究[J]. 郭尧元. 智库时代. 2018(35)
[10]基于阿里云大数据平台的“数据挖掘”课程实验教学方法探讨[J]. 王振武. 实验室研究与探索. 2018(06)
硕士论文
[1]基于Hadoop的离线数据分析平台设计与实现[D]. 朱雪.河北工程大学 2018
[2]基于Hive on Spark的列式存储性能分析和优化研究[D]. 聂伟.华中科技大学 2017
[3]基于hadoop的web管理系统[D]. 金凤.北京邮电大学 2015
本文编号：3255074
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3255074.html
