面向电商网站的用户线上与线下社交网络分析与研究

发布时间：2021-11-22 06:15

　　随着移动互联网的飞速发展,越来越多的人们选择使用手机上网浏览信息,这也导致了网络数据呈现爆发式的增长。在人工智能迅速崛起的年代,利用数据挖掘和机器学习从这些数据中挖掘信息对用户进行画像,可以使得互联网更好的服务用户。社交网络是一种理论结构,可用于研究人们之间的关系。通过挖掘人们之间的社交关系有助于对用户进行画像,从而实现更加精准的推荐,给用户带来更好的上网体验。本文首先介绍了研究的背景意义以及组织结构。接着介绍了分析的总体架构图,数据处理平台Spark,数据集以及数据预处理。后面主要从线上以及线下这两个角度对社交网络进行详细的构建与分析。一是基于浏览过京东、天猫、淘宝这三个电商网站的用户数据构建线上社交网络,计算网络的相关指标并与传统网络指标进行对比,从商品角度展开多维度的分析,从而丰富商品特性。二是基于浏览过京东这个电商网站的用户数据构建线下社交网络,分析用户在线下的移动特性,并结合线上社交网络探究线上与线下社交网络的重叠性。最后,在重叠性的基础上进一步探索线上与线下社交网络的相互拓展性,通过用户线下行为特征以及线下社交网络特征预测用户之间在线上是否存在好友关系来展开分析。基于用户浏... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

线上与线下社交网络分析总体架构图

２．３．１数据采集??本文所采用的数据是从所在科研团队所拥有的网络流量采集系统ＴＭＳ??（Ｔｒａｆｆｉｃ?Ｍｏｎｉｔｏｒｉｎｇ?Ｓｙｓｔｅｍ）收集到的，图２－２是流量采集系统的部署图。该系??统部署在运营商的接入网和骨干网上，可以全天实时的采集用户上网流量数据，??采集后的数据存储在Ｈａｄｏｏｐ分布式文件系统（ＨＤＦＳ）中，供我们实时的对数据??进行分析和处理。这些采集的数据是真实的互联网流量数据，更加有助于我们从??现实世界的数据中发现潜在的规律。??６??Ｉ??

??线上社交网络的构建不仅仅基于用户访问了相同的商品ＩＤ，还基于用户访??问了相Ｍ的商品类别，并在此基础上展开了与线下社交网络的重叠性和相互拓展??性分析。另外，在构建线上社交网络的同时，还甚丁？商品构建了线上商品网络，??并从商品的角度展开了多维的分析，如商品的流行度以及商品衡量用户相似性。??因此，仅仅知道了用户浏览过的商品ＩＤ是不够的，还需要知道这些商品的类别??是什么，所以需要通过网页爬取的方式获取商品的具体含义。网页爬取是一个自??动提取Ｎ页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相??关的链接，获取所耑要的信息。这ＩＲ的网页爬取只楚每次去抓取起始页面的相应??借息，不需要通过Ｎ贞的链接去获取更多的页面信息。即针对每一个商品ＩＤ，??都给它构造对应的商品链接，通过循环的方式不断的去爬取每个商品的信息。??如图２－３所示，展示的是京东某个商品的页面信息，需要从图中提取的是商??品的具体类别。在网页的左上角的蓝色方框中可以发现，网站对商品自动分成了??多个类别，类别的大小从左到右依次减小。所以通过网页爬取的方式，可以将一??串数字表示的商品转换成有具体含义的商品信息。??＂「Ｚ－Ｔｐｙｔｈｏｎ??


本文编号：3511109