基于AWS云服务的选品追踪站点的设计与实现
发布时间：2021-05-19 18:09
该项目来源于亚马逊中国商城Channel Sales部门的工具产品的实际应用。随着电商行业的发展,各大平台上不断涌现新的商品,亚马逊在互联网发展的浪潮中成为了全球最大的网上零售商。但对于中国消费者而言,本土的几家主流电商平台始终是他们的第一选择,相比于亚马逊中国商城,他们更能在本土的电商平台中找到喜爱的商品。为了能够在亚马逊中国商城引入受中国消费者偏爱的各种商品,就需要知道这些商品的销售数据,为此,作者所在的技术项目组决定开发一个内部工具------基于AWS云服务的选品追踪站点,本项目可以将其他几家主流电商平台的商品、卖家、品牌、类别等的销售数据根据度量指标进行展示并与亚马逊平台进行对比分析,帮助销售部门的员工了解热点卖家和品牌。本文首先阐述该站点研发的背景以及国内外现状,明确了要达到的目标,然后对整个站点进行功能性和非功能性需求分析。接着根据需求分析来设计站点的系统架构、划分系统功能模块、设计站点数据库。接着对站点进行详细设计与实现。该站点的研发主要分为两大部分,第一部分是EMR（AWS数据处理平台）上的数据处理,需要对从其他平台爬取到的原始数据在EMR上进行一系列基于Spark的...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
ABSTRACT
1 引言
1.1 课题研究背景
1.2 相关国内外研究现状
1.3 课题研究对象及目标
1.4 本人主要工作
1.5 论文组织结构
1.6 本章小结
2 相关理论及关键技术
2.1 三层架构
2.2 AMAZON ELASTIC COMPUTE CLOUD (EC2)
2.3 AWS SDK FORJAVA
2.4 AMAZON EMR及SPARK技术
2.5 AWS ELASTICSEARCH技术
2.6 RUBY ON RAILS技术框架
2.7 DATAPIPELINE技术
2.8 本章小结
3 需求分析
3.1 需求概述
3.2 业务流程图
3.3 系统功能需求分析
3.3.1 用户识别及权限管理功能
3.3.2 数据查询功能
3.3.3 数据收藏功能
3.3.4 用户行为记录功能
3.4 非功能性需求分析
3.5 本章小结
4 系统总体设计
4.1 系统架构设计
4.1.1 设计思路
4.1.2 服务器架构
4.2 系统功能结构设计
4.3 数据库设计
4.3.1 数据库表关系
4.3.2 数据库实体说明
4.4 本章小结
5 系统详细设计与实现
5.1 数据处理
5.1.1 数据格式转换
5.1.2 建立工作流
5.1.3 SPARK函数处理
5.1.4 SPARK SQL及DATAFRAME的聚合处理
5.1.5 数据导入
5.2 AMAZON ES全文检索
5.2.1 创建ES域
5.2.2 将流数据加载到ES
5.2.3 创建搜索应用程序
5.3 数据维护、迁移及备份
5.4 用户识别及权限管理模块的设计与实现
5.5 数据查询模块的设计与实现
5.6 数据收藏模块的设计与实现
5.7 用户行为记录模块的设计与实现
5.8 本章小结
6 系统测试
6.1 测试环境
6.2 功能性测试
6.3 性能测试
6.4 本章小结
7 结论
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集
【参考文献】：
期刊论文
[1]“互联网+”背景下跨境电商运作模式创新研究[J]. 李强. 技术经济与管理研究. 2019(03)
[2]移动多媒体教学平台的构建[J]. 林兴. 安阳工学院学报. 2018(06)
[3]云计算下的软件测试系统研究[J]. 何林红. 数字通信世界. 2018(11)
[4]Open Source Initiatives for Big Data Governance and Security: A Survey[J]. HU Baiqing,WANG Wenjie,Chi Harold Liu. ZTE Communications. 2018(02)
[5]八问AWS大数据[J]. 容永康. 软件和集成电路. 2016(12)
[6]Hadoop生态体系安全框架综述[J]. 陈玺,马修军,吕欣. 信息安全研究. 2016(08)
[7]Ruby on rails开发框架的实际应用[J]. 刘继. 通讯世界. 2015(17)
[8]软件架构的非功能性需求指标和区域化支持[J]. 张宏升. 电脑知识与技术. 2011(09)
[9]软件测试技术综述[J]. 何新贵. 中国计量学院学报. 2008(03)
[10]面向对象软件概要设计过程[J]. 李亚. 福建电脑. 2008(06)
博士论文
[1]面向云计算的可信虚拟环境关键技术研究[D]. 石勇.北京交通大学 2017
[2]基于软件构件的软件复用的研究[D]. 朱建江.南京航空航天大学 2002
硕士论文
[1]基于电商平台视角的商家刷单行为监管策略研究[D]. 周晓盈.湖南大学 2018
[2]软件测试模型与方法研究[D]. 冷先刚.武汉理工大学 2009
[3]软件自动化测试技术及应用研究[D]. 应杭.浙江大学 2006
[4]面向多层架构的协同工作流管理系统的研究与应用[D]. 张洋.华中科技大学 2005
本文编号：3196208
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
ABSTRACT
1 引言
1.1 课题研究背景
1.2 相关国内外研究现状
1.3 课题研究对象及目标
1.4 本人主要工作
1.5 论文组织结构
1.6 本章小结
2 相关理论及关键技术
2.1 三层架构
2.2 AMAZON ELASTIC COMPUTE CLOUD (EC2)
2.3 AWS SDK FORJAVA
2.4 AMAZON EMR及SPARK技术
2.5 AWS ELASTICSEARCH技术
2.6 RUBY ON RAILS技术框架
2.7 DATAPIPELINE技术
2.8 本章小结
3 需求分析
3.1 需求概述
3.2 业务流程图
3.3 系统功能需求分析
3.3.1 用户识别及权限管理功能
3.3.2 数据查询功能
3.3.3 数据收藏功能
3.3.4 用户行为记录功能
3.4 非功能性需求分析
3.5 本章小结
4 系统总体设计
4.1 系统架构设计
4.1.1 设计思路
4.1.2 服务器架构
4.2 系统功能结构设计
4.3 数据库设计
4.3.1 数据库表关系
4.3.2 数据库实体说明
4.4 本章小结
5 系统详细设计与实现
5.1 数据处理
5.1.1 数据格式转换
5.1.2 建立工作流
5.1.3 SPARK函数处理
5.1.4 SPARK SQL及DATAFRAME的聚合处理
5.1.5 数据导入
5.2 AMAZON ES全文检索
5.2.1 创建ES域
5.2.2 将流数据加载到ES
5.2.3 创建搜索应用程序
5.3 数据维护、迁移及备份
5.4 用户识别及权限管理模块的设计与实现
5.5 数据查询模块的设计与实现
5.6 数据收藏模块的设计与实现
5.7 用户行为记录模块的设计与实现
5.8 本章小结
6 系统测试
6.1 测试环境
6.2 功能性测试
6.3 性能测试
6.4 本章小结
7 结论
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集
【参考文献】：
期刊论文
[1]“互联网+”背景下跨境电商运作模式创新研究[J]. 李强. 技术经济与管理研究. 2019(03)
[2]移动多媒体教学平台的构建[J]. 林兴. 安阳工学院学报. 2018(06)
[3]云计算下的软件测试系统研究[J]. 何林红. 数字通信世界. 2018(11)
[4]Open Source Initiatives for Big Data Governance and Security: A Survey[J]. HU Baiqing,WANG Wenjie,Chi Harold Liu. ZTE Communications. 2018(02)
[5]八问AWS大数据[J]. 容永康. 软件和集成电路. 2016(12)
[6]Hadoop生态体系安全框架综述[J]. 陈玺,马修军,吕欣. 信息安全研究. 2016(08)
[7]Ruby on rails开发框架的实际应用[J]. 刘继. 通讯世界. 2015(17)
[8]软件架构的非功能性需求指标和区域化支持[J]. 张宏升. 电脑知识与技术. 2011(09)
[9]软件测试技术综述[J]. 何新贵. 中国计量学院学报. 2008(03)
[10]面向对象软件概要设计过程[J]. 李亚. 福建电脑. 2008(06)
博士论文
[1]面向云计算的可信虚拟环境关键技术研究[D]. 石勇.北京交通大学 2017
[2]基于软件构件的软件复用的研究[D]. 朱建江.南京航空航天大学 2002
硕士论文
[1]基于电商平台视角的商家刷单行为监管策略研究[D]. 周晓盈.湖南大学 2018
[2]软件测试模型与方法研究[D]. 冷先刚.武汉理工大学 2009
[3]软件自动化测试技术及应用研究[D]. 应杭.浙江大学 2006
[4]面向多层架构的协同工作流管理系统的研究与应用[D]. 张洋.华中科技大学 2005
本文编号：3196208
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3196208.html
