互联网广告流式处理系统的设计与实现

发布时间：2021-01-26 10:19

　　随着互联网的迅猛发展,越来越多的互联网广告开始出现。互联网广告以其精准,快速,高效的投放,给广告主带来了丰厚的回报。通过对广告投放系统实时数据处理的分析,针对重定向和实时数据统计等问题,提出了流式处理的方案,运用Storm等技术,设计并实现一种广告投放的流式数据处理系统,详细论述了其设计与实现过程。 

【文章来源】：微型电脑应用. 2019,35(06)

【文章页数】：4 页

【部分图文】：

Storm架构图

Storm数据交互图

ＭｉｃｒｏｃｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓＶｏｌ．３５，Ｎｏ．６，２０１９研究与设计微型电脑应用２０１９年第３５卷第６期图１Ｓｔｏｒｍ架构图Ｔｏｐｏｌｏｇｙ任务分配给ｓｕｐｅｒｖｉｓｏｒ。Ｎｉｍｂｕｓ和Ｓｕｐｅｒｖｉｓｏｒ能实现无状态的快速失败，保证了集群整体的健壮性，在这个过程中由ＺｏｏＫｅｅｐｅｒ来协调这两者的工作。当提交Ｔｏｐｏｌｏｇｙ任务之后，Ｎｉｍｂｕｓ节点先对它进行分片，生成多个ｔａｓｋ，同时Ｔａｓｋ和Ｓｕｐｅｒｖｉｓｏｒ的有关信息会提交给ｚｏｏｋｅｅｐｅｒ集群，Ｓｕｐｅｒｖｉｓｏｒ通过查询ｚｏｏｋｅｅｐｅｒ集群上，获取各自的Ｔａｓｋ，然后将ｔａｓｋ交给ｗｏｒｋｅｒ进行处理，如图２所示。图２Ｓｔｏｒｍ数据交互图Ｓｔｏｒｍ处理流程涉及Ｓｔｒｅａｍ、Ｓｐｏｕｔ、Ｂｏｌｔ、ＳｔｒｅａｍＧｒｏｕｐ－ｉｎｇ。Ｓｔｒｅａｍ是ｓｔｏｒｍ的关键抽象化，是一个无边界的ｔｕｐｌｅ序列，ｓｔｏｒｍ可以分布式并行对ｔｕｐｌｅ序列进行处理。Ｓｐｏｕｔ是数据源，用于生产数据，一般是从外部数据源中进行获取并发送给ｔｕｐｌｅ。Ｂｏｌｔ用于处理数据，主要对数据进行过滤，聚合，读写数据库等操作。ＳｔｒｅａｍＧｒｏｕｐｉｎｇ用于规定各个ｂｏｌｔ接受什么样的流数据，然后以什么的分组方式进行发送。Ｔｏｐｏｌｏｇｙ都通过ＳｔｒｅａｍＧｒｏｕｐｉｎｇ相连的Ｓｐｏｕｔ和Ｂｏｌｔ节点而组成的网络。Ｓｔｏｒｍ处理逻辑的结构图，如图３所示。

【参考文献】：
期刊论文
[1]基于概率模型检验的Web服务系统可靠性分析[J]. 高洪皓,开金宇,周家安,缪淮扣,黄婉秋,王皙.  东南大学学报(自然科学版). 2017(S1)
[2]针对高速数据流的大规模数据实时处理方法[J]. 亓开元,赵卓峰,房俊,马强.  计算机学报. 2012(03)



本文编号：3000938