基于爬虫与数据挖掘的电商页面信息分析

发布时间：2020-07-26 22:31

【摘要】：随着互联网产业的迅猛发展,计算机相关技术的跳跃式演变以及行业规模的不断扩大创新.电子商务从最初的不被信任到现在动动手指就可购物,电商平台对老百姓生活产生的影响不言而喻.2017年“双十一”这天,淘宝网单日平台交易额突破了1682亿人民币,人民的日常生活早已离不开电子商务平台.在电商平台的网络交易中,消费者可以通过浏览商品网页获取商品的各类信息,以此决定是否购买,而这些信息又可以为市场和营销带来更好的转变机会.因此,本文将结合爬虫技术与相应的数据挖掘方法对电商的网页信息进行采集与探究性分析,期望构建一套从数据提取到数据挖掘的系统性研究方法,帮助店家及消费者更好的探究需求,并为丰富电子商务市场营销策划提供参考.从消费人群来看,80、90后年龄段的消费者占比近八成多,是电子商务消费的核心主导力量,而该阶段的消费者都要经历面试及就业,因此选用西装为研究对象很具有代表性.本文通过搭建web自动化爬虫框架获取了淘宝网西装商品全部共8000多家网店的网页信息,并通过对数据信息检查选择出最适合该类数据的数据挖掘方法.最终决定使用描述性分析与回归分析、文本聚类分析相结合的研究方法,探索其潜在的数据价值,从而为飞速发展的电商产业提供系统优质的数据挖掘技术支持.本文主要工作分为六个部分:第一部分:绪论,主要阐述研究的背景、综述、研究的内容与结构安排.第二部分:数据提取与存储的方法介绍,简单阐述了需要使用的工具及其优缺点,为数据爬取奠定基础.第三部分:网页信息的处理方法,分别讲述了有关商品销售量的多元回归分析模型及对网页信息采用的“无监督学习”文本聚类方法.第四部分:K-Means算法的展开,从数据预处理、向量空间模型(VSM)、IDFTF-算法、与引用惯性权重的K-Means评价等详细记录了算法的实现流程.第五部分:实证部分,从环境配置、数据获取与存储、描述性分析、回归分析、文本聚类各环节构建一套系统的数据探究方法,最大化探索数据价值以达到研究目的.第六部分:总结与展望.为电商网页信息的数据挖掘及市场发展提供参考性建议支持.
【学位授予单位】：兰州大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：F724.6;F274
【图文】：

流程图,系统性研究,流程图

兰州大学硕士学位论文基于爬虫与数据挖掘的电商页面信息分析研究将分为四个部分,分别从数据的爬虫获取、数据库存储与提取、数据的简单描述性分析和数据探究性分析展开,建立一套系统的研究方法.研究结构如下图 1.4.

过程图,第三方,过程,源码

往往短短的几行命令便可以实现其他编程软件数行的作用.从爬虫的步骤来说明,前两步获取网页源码和解析源码都需要使用到python的第三方库,这里如图2.3.1所示.例如在获取数据方面,可以调用python的Requests库、urllib包；而解析数据则可以使用Xpath包或者BeautifulSoup4库；当进阶到工程式爬虫时,则可以接触 Python 的 Scrapy 框架,这是一款适用于满足各种爬虫需要并可以根据需求方便修改的第三方库.这里不做过多介绍.如需了解可参考文献[20].图 2.3

可视化界面

2.3.3 非关系型数据库 MongoDB随着海量数据的产生,传统的文本文件保存方式已经不能满足日常的需要,并不是只有企业才需要数据库,对于一名数据研究人员,或想要从事数据研究的业余爱好者,掌握一门数据库都是很明智的选择.相比与 SQL、Oracle 等大型数据库,MongoDB 是一个集开源、高性能、可分布式等多种优点于一身的文档型非关系数据库,非常适合于爬虫数据的存储.而Python 也有与之匹配的第三方库 pymongo 可以通过简单的命令存储数据.基于 Python 的相关安装:（1）首先需要安装 MongoDB 的数据库,可以选择性安装其可视化工具RoboMongo 便于查看数据.（2）安装用于操作 MongoDB 的 Python 的第三方库 pymongo.（3）推荐使用 Python 的编译器 Pycharm,界面简单同时编程时有各种辅助性提示方便操作,其拥有 MongoDB 的插件更是可以对 MongoDB 进行可视化操作.插件名为 Mongo Plugin.

【参考文献】