基于Hadoop的互联网数据营销系统的设计与实现

发布时间：2018-02-16 23:49

  本文关键词： 大数据 Hadoop 爬虫 分布式 数据营销　出处：《中国科学院大学(中国科学院工程管理与信息技术学院)》2017年硕士论文　论文类型：学位论文

【摘要】：互联网的应用与发展大大促进了各个新兴产业的发展,同时也为传统制造业提供了机遇与挑战。常规的营销方式,已经远远不能满足需求。随着互联网用户的增长以及移动互联网的迅速兴起,互联网营销面临的数据量越来越大,并且数据的结构复杂无规律性。因此本文根据Hadoop集群所具有海量非结构化数据存贮与分析设计的优势以及处理不同类型大数据的灵活性等特点,提出基于Hadoop的大数据营销系统的架构,实现海量数据的存储与处理,并结合分布式海量数据爬虫技术,建立互联网用户的人群画像模型,基于此模型以及互联网用户的行为数据分析用户的兴趣以及喜好,更好地指导互联网营销策略的指导以及实施。论文完成的主要工作如下:(1)研究背景与需求调研;(2)大数据相关技术的研究;(3)基于Hadoop的互联网数据营销系统的设计;(4)基于Hadoop的互联网数据营销系统的实现;(5)系统的部署与运用。目前系统已经完成并投入运行,使用16台服务器,每日可处理5亿条日志。对互联网用户的访问习惯及用户属性有了更加精准的了解,对广告投放和营销决策提供了很好的支撑。在人工方面:减小了运营人员的工作负担,提升了工作效率;在营销效果方面:由于采用了依据用户属性的广告投放方式,提升了广告的转化效率及投入产出比。
[Abstract]:The application and development of the Internet has greatly promoted the development of various new industries, and at the same time has provided opportunities and challenges for the traditional manufacturing industry. With the growth of Internet users and the rapid rise of mobile Internet, Internet marketing is facing more and more data. And the structure of the data is complex and irregular. Therefore, according to the advantages of massive unstructured data storage and analysis design of Hadoop cluster and the flexibility of dealing with different types of big data, This paper puts forward the framework of big data marketing system based on Hadoop, realizes the storage and processing of massive data, and establishes the crowd portrait model of Internet users with distributed mass data crawler technology. Based on this model and the behavior data of Internet users, we analyze the interests and preferences of users. The main work accomplished in this thesis is as follows: 1) Research background and demand investigation) big data related technology. (3) Design of Internet data Marketing system based on Hadoop. Implementation of Internet data Marketing system based on Hadoop. Using 16 servers, it can handle 500 million logs a day. It has a more accurate understanding of the access habits and user attributes of Internet users. Provides a good support for advertising and marketing decisions. In the artificial aspects: reduced the workload of operators, improved work efficiency; in marketing effect: because of the use of user attributes of advertising delivery, Improve the efficiency of advertising conversion and input-output ratio.
【学位授予单位】：中国科学院大学(中国科学院工程管理与信息技术学院)
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13;TP393.09

【相似文献】

相关期刊论文 前10条

1 万瑞;;上海世博会中期互联网数据总结发布[J];青年记者;2010年22期

2 ;天下[J];中国计算机用户;2007年23期

3 米莉;;你信吗? 因特网重量只有50克[J];今日科苑;2011年24期

4 沈丽琴;;靠市场力量探索商业模式[J];中国经济和信息化;2014年05期

5 陈骞;;欧洲云计算发展策略与启示[J];上海信息化;2013年03期

6 ;最新闻、最评论[J];电脑爱好者;2010年03期

7 李正茂;;李正茂:2020年互联网数据量将是目前的44倍[J];信息系统工程;2011年06期

8 王志勤;;3G及宽带无线移动:双轮驱动无线技术前行[J];世界电信;2011年Z1期

9 梁辰;;春节期间短信发送量仍然增长8.3%[J];通信世界;2013年05期

10 于丽妍;;做“云端”的安全卫士——访上海派拉软件有限公司总经理 谭翔[J];华东科技;2013年06期

相关重要报纸文章 前10条

1 ;欧盟批准电话及互联网数据保存规定[N];人民邮电;2006年

2 记者 张舒;2008年第一季度中国互联网数据发布[N];中华新闻报;2008年

3 李立娟;英国立法允许监听公民电话[N];民主与法制时报;2014年

4 记者 彭林;江西电信高速环网覆盖全省[N];人民邮电;2001年

5 本报记者 戈清平;陈金培：阿里云打造数据为中心的云计算[N];中国高新技术产业导报;2013年

6 记者 吴晓菁　黄嵘 通讯员 韩师斯;有效帮助客户 应对各种风险[N];厦门日报;2010年

7 徐文;国产浏览器占有率达17.04%[N];中国电子报;2010年

8 记者 邱春;我市警方重拳打击网络色情[N];重庆日报;2008年

9 张昕楠;技术创新是选择的关键[N];中国计算机报;2008年

10 广东省电网公司东莞供电局 邓雄荣;供电局上网规范“二重奏”[N];网络世界;2010年

相关硕士学位论文 前2条

1 李璋;基于Hadoop的互联网数据营销系统的设计与实现[D];中国科学院大学(中国科学院工程管理与信息技术学院);2017年

2 刘旭;基于互联网数据的话题发现及追踪技术研究与实现[D];复旦大学;2010年

，

本文编号：1516717