SEM广告数据分析系统的设计与实现

发布时间：2017-10-04 13:56

  本文关键词：SEM广告数据分析系统的设计与实现

  更多相关文章： SEM olap Hadoop Elastic search

【摘要】：SEM (Search Engine Marketing,搜索引擎营销)是在用户使用搜索引擎进行搜索时,将希望传递的信息显示给目标用户的一种推广方式。推广方在搜索引擎平台对不同的关键词进行投放,使推广的页面有更高频率和概率显示到搜索用户面前,使用户发现并通过点击进入相应的页面。京东商城每天都有上亿的流量访问,商城获取流量的方式多种多样,其中SEM是其极其重要的流量来源。京东商城有大量商品分类和具体商品页面信息,不同商品分类、不同的商品、不同的促销都有不同的推广的需求。国内有百度、搜狗、360搜索、神马搜索几家主要搜索引擎厂商,运营人员每天要维护不同搜索引擎平台上推广账户的SEM投放信息,并需要分析各个账户的投放效果,以便更新关键词的投放比例,投放价格,业务逻辑复杂、数据维度多、数据量庞大。论文依据京东商城的实际需求,设计和实现了SEM广告数据分析系统。该系统维护京东商城在各家搜索引擎上的所有SEM投放账号,自动获取和存储各个账号在不同平台的投放效果数据,分析并产出投放报表,同时提供统一的有效提高投放效果和投放效率的投放操作。系统主要功能包括数据报表和实时投放。系统实现技术包括hadoop, hive, pig, oozie, druid, elastic search, node.js, shell, python等,完成数据的拉取、聚合、查询、修改和媒体端交互等功能。系统设计将系统分为fetcher, druid_data_generator, olap_data_loader, ui, savees, query_es,upload几个主要模块。fetcher模块主要负责从各家搜索引擎的提供的差异化的API,以统一的方式,定时调度获取并经格式处理存储到hive中：druid_data_generator模块负责将拉取的数据与商城后台的数据进行各个维度的聚合；olap_data_loader负责将聚合后的数据从Hive上传到druid; ui负责从druid查询各个维度的数据并显示:save_es负责投放操作的数据保存与修改,用于与投放媒体端交互同步数据;uploader负责与媒体端交互,将修改的操作实时的上传到媒体端实现投放数据的实际修改。本人参与了系统需求分析、设计和实现的全过程。独立设计和实现了fetcher模块、druid_data_loader和save_es的部分功能,实现了数据源的稳定抓取、数据转化聚合,并完成elasic search数据的存储和性能优化。论文实现的SEM广告数据分析系统系统最终已经上线并稳定运行。有效提高了京东商城的SEM广告投放效果,提升了运营人员实际效率。
【关键词】：SEM olap Hadoop Elastic search
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-16
• 1.1 论文背景12-13
• 1.2 项目目标13-14
• 1.3 关键问题和技术难度14-15
• 1.4 论文主要工作和组织15
• 1.5 小结15-16
• 2 相关技术16-22
• 2.1 HADOOP16-17
• 2.2 HDFS17
• 2.3 HIVE17-18
• 2.4 OOZIE18-19
• 2.5 PIG19
• 2.6 ELASTICSEARCH19
• 2.7 NODEJS19-20
• 2.8 小结20-22
• 3 SEM广告数据分析系统需求分析22-34
• 3.1 功能需求22-29
• 3.1.1 后台管理22-24
• 3.1.2 报表中心24-28
• 3.1.3 物料中心28-29
• 3.1.4 同步媒体29
• 3.2 可行性分析29-30
• 3.2.1 技术可行性30
• 3.2.2 资源可行性30
• 3.3 非功能性需求30-31
• 3.3.1 运行环境需求31
• 3.3.2 性能需求31
• 3.3.3 系统结构需求31
• 3.5 小结31-34
• 4 SEM广告数据分析系统概要设计34-50
• 4.1 架构设计34-35
• 4.2 数据流程设计35-37
• 4.3 系统功能模块设计如37-43
• 4.3.1 数据拉取模块(fetcher)38-39
• 4.3.2 数据聚合模块(druid_data_generator)39
• 4.3.3 Hive导出druid模块(olap_data_loader)39-40
• 4.3.4 物料存储模块(save-es)40-41
• 4.3.5 物料查询模块(query-es)41-42
• 4.3.6 同步模块(uploader)42
• 4.3.7 ui数据访问接口(api-master)42-43
• 4.4 HIVE表设计43-48
• 4.4.1 关键词表43-44
• 4.4.2 返点表44-45
• 4.4.3 账户结构表45
• 4.4.4 推广组表45-46
• 4.4.5 创意表46
• 4.4.6 附加创意表46-47
• 4.4.7 投放地域表47
• 4.4.8 投放计划表47-48
• 4.5 小结48-50
• 5 系统功能详细设计与实现50-70
• 5.1 数据拉取(FETCHER)功能详细设计与实现50-55
• 5.1.1 数据拉取模块类图50-54
• 5.1.2 数据拉取模块时序图54-55
• 5.2 数据聚合功能详细设计与实现55-56
• 5.2.1 聚合逻辑55-56
• 5.3 HIVE上传DRUID模块功能详细设计与实现56-58
• 5.3.1 Hive上传Druid脚本介绍57-58
• 5.4 物料存储模块(SAVE-ES)功能详细设计与实现58-62
• 5.4.1 物料存储模块类图58-59
• 5.4.2 数据拉取模块类具体介绍59-61
• 5.4.3 物料存储部分时序图61-62
• 5.5 物料查询模块(QUERY-ES)功能详细设计与实现62-65
• 5.5.1 物料查询模块类设计62-64
• 5.5.2 时序图64-65
• 5.6 UI接口(API-MASTER)65-68
• 5.6.1 UI接口类设计65-68
• 5.7 小结68-70
• 6 系统测试70-74
• 6.1 测试概述70
• 6.2 测试用例70-72
• 6.3 验证性结果分析72
• 6.4 小结72-74
• 7 总结74-76
• 7.1 结论74
• 7.2 展望74-76
• 参考文献76-78
• 作者简历及攻读硕士/博士学位期间取得的研究成果78-80
• 学位论文数据集80

【相似文献】

中国期刊全文数据库 前10条

1 李磊;;黑龙江邮政数据分析系统研究[J];林业科技情报;2011年04期

2 陈起榕;陈新亮;曹世彪;;一种新的数据分析系统前端展示方案[J];邮电设计技术;2012年10期

3 孟庆超;李永亮;;智能数据分析系统研究[J];现代商贸工业;2008年11期

4 郭静;;钢铁企业能源数据分析系统的构建[J];昆明理工大学学报(理工版);2009年05期

5 哈文雷;;基于云计算的油田数据分析系统[J];中国新技术新产品;2013年17期

6 黄丽丽;陈华辉;;博客数据分析系统的设计与实现[J];宁波大学学报(理工版);2008年03期

7 田月洁;焦波;谢金洲;;中药不良反应数据分析系统的设计与应用[J];中国药物警戒;2007年04期

8 毛兰斌;;基于机电结构检测的可靠性数据分析系统设计[J];中国高新技术企业;2008年08期

9 毛羽芳;王锐明;;天津市工商行政管理局数据分析系统的建设[J];信息系统工程;2010年07期

10 章璐;;人民币跨境结算业务数据分析系统的设计与实现[J];中国金融电脑;2013年01期

中国重要会议论文全文数据库 前7条

1 顾红生;;浅谈汽车行业竞品数据分析系统解决方案[A];第八届中国汽车设计与研发高峰论坛论文集[C];2013年

2 辛建峰;辛阳;;数据分析系统中的自定义量度方案设计实现[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

3 尚屹;朱琦;;国家持久性有机污染物数据分析系统研究[A];2008中国环境科学学会学术年会优秀论文集（下卷）[C];2008年

4 郑慧娟;周嘉元;李斌;;水电站生产数据分析系统及其现场应用[A];中国水力发电工程学会信息化专委会2010年学术交流会论文集[C];2010年

5 张永忠;赵静;;基于事件检测算法的交通数据分析系统[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年

6 王治国;王薇;訾凯;任鹏;;临床检验方法确认与性能验证数据分析系统(MVS)的开发与应用[A];中华医学会第九次全国检验医学学术会议暨中国医院协会临床检验管理专业委员会第六届全国临床检验实验室管理学术会议论文汇编[C];2011年

7 董刚;孙建林;谭耘宇;;建立梅钢热轧数据分析系统[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年

中国重要报纸全文数据库 前8条

1 记者 刘慧敏;开发区一企业研发成功“消费行为数据分析系统”[N];宁波日报;2009年

2 别志铭;基于云的大数据分析系统[N];网络世界;2013年

3 袁毅;苏州：数据分析系统精准问诊城市交通[N];人民公安报·交通安全周刊;2011年

4 绍兴职业技术学院 沈华峰 宁波大学信息科学与工程学院 朱双东;基于可缩放矢量图形数据分析系统的设计与实现[N];中国计算机报;2010年

5 记者 董科;转型客户服务 打造全新竞争力[N];期货日报;2010年

6 江苏省淮安市涟水地税局 周跃 黄吕胜 童政;应完善税收数据分析系统提升使用效能[N];中国税务报;2013年

7 陶利军;路桥当好企业经济分析师[N];中国工商报;2007年

8 本报记者 巩国强;汛潮的“卖点”[N];山西经济日报;2004年

中国硕士学位论文全文数据库 前10条

1 马宝全;新疆车牌信息数据分析系统的设计与实现[D];吉林大学;2016年

2 李全伟;移动数据分析系统的设计与实现[D];山东大学;2016年

3 陈盛力;SEM广告数据分析系统的设计与实现[D];北京交通大学;2016年

4 段凌轩;基于HTTP协议的网络数据分析系统的设计与实现[D];哈尔滨工业大学;2016年

5 冯伟;基于云计算的海量数据分析系统的研究与实现[D];上海交通大学;2012年

6 王浩;内蒙联通公司基础数字数据分析系统的设计与开发[D];复旦大学;2011年

7 周晓敏;钢铁企业化验报告数据分析系统[D];电子科技大学;2011年

8 田野;基于相似性挖掘的金融数据分析系统的研究与应用[D];上海交通大学;2012年

9 解晓松;沈阳地税数据分析系统设计与实现[D];大连理工大学;2012年

10 徐，

本文编号：970980