基于电子商务平台的数据分析系统

发布时间：2017-09-01 18:22

  本文关键词：基于电子商务平台的数据分析系统

  更多相关文章： 分析系统 网络爬虫 领域分词 买家关注点 selenium 评论特征

【摘要】：随着电子商务的发展,数字营销市场也逐渐扩大,与传统零售业相比,数字营销的最大特点就是一切都可以通过数据化来进行监控和改进。通过监控数据的变化,能够有效地掌握店铺、商品、活动的营销情况。通过分析整体销售情况、用户画像、活动效果等,提炼出有价值的结论,用于辅助运营者更好的进行店铺运营,提高利润。因此,数据分析在电子商务和数字营销领域非常重要。对于需要进行数字营销工作的相关人员来说,包括客户部人员、策划人员、运营人员、设计师、数据分析师等,对数据的使用频率高且频次多。在这样的情况下,出现了无权限查询信息、不同平台需要登录多个账号、平台提供的第三方数据应用未能贴近业务以及未能根据业务进行定制和扩展等问题。针对以上情况,本文以天猫平台为对象,设计并实现了一个基于电商平台的数据分析系统。具体研究内容如下:(1)研究涉及本系统后台数据处理模块相关的技术,包括Selenium工具在动态网页爬虫中的应用;分词方法及分词系统;评论特征提取的方法。(2)介绍系统的需求分析及整体框架,并阐述了系统4大模块的内容:数据获取、数据处理、数据存储和数据呈现。同时介绍了系统前端的功能及页面设计、系统数据库的设计。系统前端是基于B/S架构的,并按照三层架构进行设计,包括数据访问层、业务逻辑层和用户表示层,采用Asp.net+C#实现;数据库采用Sql Server 2012构建;后台模块采用Python及Java实现。(3)结合Selenium工具,实现商品基本信息、素材信息和买家评论信息爬虫,覆盖PC端和Mobile端,Mobile端的爬取是在PC端上模拟进入Mobile端。(4)利用爬虫爬取平台上的品类/品牌/属性信息,以及通过Tamll对商品标题的分词信息,设计了评论领域专用词典构建方法。利用积累的评论,运用分词工具,对评论进行分词、词性标注、词频统计,通过人工归类的手段,构建了通用型的买家关注点模型。(5)实现了买家关注点识别的两种方法,词语匹配模型法和模型匹配评论法。词语匹配模型法的核心是对评论进行分词、标注、特征抽取后,利用抽取的词语与模型中的词语进行匹配及统计。模型匹配评论法的核心是不进行分词,直接利用模型中的词语,匹配评论中是否含有与该词语一致的字串,并进行统计。实验结果证明,在系统当前条件下,两种方法都能够适应跨类别评论的分析,而在算法表现是,模型匹配评论法的有效评论查全率和各个类别的匹配准确率要优于词语匹配模型法。
【关键词】：分析系统 网络爬虫 领域分词 买家关注点 selenium 评论特征
【学位授予单位】：广东外语外贸大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：F724.6;F274
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 第1章 绪论9-14
• 1.1 研究背景9-10
• 1.2 研究意义10-11
• 1.3 研究创新点11-12
• 1.4 论文工作内容12
• 1.5 论文组织结构12-14
• 第2章 相关技术研究现状14-25
• 2.1 网络爬虫技术14-18
• 2.1.1 静态网页爬虫15
• 2.1.2 动态网页爬虫15-18
• 2.2 分词技术18-22
• 2.2.1 基于词典的分词方法19-20
• 2.2.2 基于统计的分词方法20-22
• 2.2.3 混合的分词方法22
• 2.3 评论特征提取22-24
• 2.3.1 人工定义模型23
• 2.3.2 文本模式提取特征23-24
• 2.3.3 关联规则提取特权24
• 2.4 小结24-25
• 第3章 系统设计25-50
• 3.1 需求分析25-26
• 3.2 系统整体框架26
• 3.3 系统整体功能模块设计26-31
• 3.3.1 数据获取28-29
• 3.3.2 数据处理29-31
• 3.3.3 数据存储31
• 3.3.4 数据呈现31
• 3.4 系统前端页面功能设计31-41
• 3.4.1 经营详情、产品销售、流量来源、营销效果页面31-37
• 3.4.2 商品分析页面37-39
• 3.4.3 素材分析页面39-40
• 3.4.4 买家关注点页面40-41
• 3.5 系统数据库设计41-49
• 3.5.1 经营详情表设计41-42
• 3.5.2 产品销售表设计42-43
• 3.5.3 流量来源表设计43-44
• 3.5.4 营销效果表设计44-45
• 3.5.5 商品分析表设计45-46
• 3.5.6 素材分析表设计46
• 3.5.7 买家关注点表设计46-49
• 3.6 小结49-50
• 第4章 系统后台模块实现50-69
• 4.1 网络爬虫模块的实现50-55
• 4.1.1 商品基本信息爬虫50-52
• 4.1.2 素材信息爬虫52-53
• 4.1.3 买家评论爬虫53-55
• 4.2 买家关注点模型的构建55-58
• 4.3 评论领域专用词典的构建58-59
• 4.4 分词/标注/候选特征词抽取模块的实现59-61
• 4.4.1 分词/标注/候选特征词抽取流程59-60
• 4.4.2 中科院NLPIR接口60
• 4.4.3 实现代码60-61
• 4.5 买家关注点识别及统计模块的实现61-68
• 4.5.1 词语匹配模型法62-63
• 4.5.2 模型匹配评论法63-64
• 4.5.3 实验结果与分析64-68
• 4.6 小结68-69
• 第5章 总结与展望69-71
• 5.1 全文总结69-70
• 5.2 工作展望70-71
• 参考文献71-74
• 致谢74-75
• 在学期间的研究成果及发表的学术论文75

【相似文献】

中国期刊全文数据库 前10条

1 孟庆超;李永亮;;智能数据分析系统研究[J];现代商贸工业;2008年11期

2 郭静;;钢铁企业能源数据分析系统的构建[J];昆明理工大学学报(理工版);2009年05期

3 毛兰斌;;基于机电结构检测的可靠性数据分析系统设计[J];中国高新技术企业;2008年08期

4 毛羽芳;王锐明;;天津市工商行政管理局数据分析系统的建设[J];信息系统工程;2010年07期

5 章璐;;人民币跨境结算业务数据分析系统的设计与实现[J];中国金融电脑;2013年01期

6 张振华 ,王浩;数据分析系统性能调整[J];中国金融电脑;2005年04期

7 罗国忠;;建立电力营销数据分析系统[J];科技创新导报;2008年03期

8 罗国忠;;电力营销数据分析系统研究[J];现代商贸工业;2008年05期

9 朱晓统;王兴杰;;可扩展性的架构设计——谈科立讯数据分析系统[J];中国无线电;2008年06期

10 刘颖;;电信企业数据分析系统的现状及未来发展探索[J];山西焦煤科技;2007年09期

中国重要会议论文全文数据库 前7条

1 顾红生;;浅谈汽车行业竞品数据分析系统解决方案[A];第八届中国汽车设计与研发高峰论坛论文集[C];2013年

2 辛建峰;辛阳;;数据分析系统中的自定义量度方案设计实现[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

3 尚屹;朱琦;;国家持久性有机污染物数据分析系统研究[A];2008中国环境科学学会学术年会优秀论文集（下卷）[C];2008年

4 郑慧娟;周嘉元;李斌;;水电站生产数据分析系统及其现场应用[A];中国水力发电工程学会信息化专委会2010年学术交流会论文集[C];2010年

5 张永忠;赵静;;基于事件检测算法的交通数据分析系统[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年

6 王治国;王薇;訾凯;任鹏;;临床检验方法确认与性能验证数据分析系统(MVS)的开发与应用[A];中华医学会第九次全国检验医学学术会议暨中国医院协会临床检验管理专业委员会第六届全国临床检验实验室管理学术会议论文汇编[C];2011年

7 董刚;孙建林;谭耘宇;;建立梅钢热轧数据分析系统[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年

中国重要报纸全文数据库 前8条

1 记者 刘慧敏;开发区一企业研发成功“消费行为数据分析系统”[N];宁波日报;2009年

2 别志铭;基于云的大数据分析系统[N];网络世界;2013年

3 袁毅;苏州：数据分析系统精准问诊城市交通[N];人民公安报·交通安全周刊;2011年

4 绍兴职业技术学院 沈华峰 宁波大学信息科学与工程学院 朱双东;基于可缩放矢量图形数据分析系统的设计与实现[N];中国计算机报;2010年

5 记者 董科;转型客户服务 打造全新竞争力[N];期货日报;2010年

6 江苏省淮安市涟水地税局 周跃 黄吕胜 童政;应完善税收数据分析系统提升使用效能[N];中国税务报;2013年

7 陶利军;路桥当好企业经济分析师[N];中国工商报;2007年

8 本报记者 巩国强;汛潮的“卖点”[N];山西经济日报;2004年

中国硕士学位论文全文数据库 前10条

1 马宝全;新疆车牌信息数据分析系统的设计与实现[D];吉林大学;2016年

2 李全伟;移动数据分析系统的设计与实现[D];山东大学;2016年

3 陈盛力;SEM广告数据分析系统的设计与实现[D];北京交通大学;2016年

4 段凌轩;基于HTTP协议的网络数据分析系统的设计与实现[D];哈尔滨工业大学;2016年

5 廖静欣;基于电子商务平台的数据分析系统[D];广东外语外贸大学;2016年

6 孔令云;基于云计算的卡口交通数据分析系统[D];天津大学;2014年

7 刘胜;交通管理执法质量数据分析系统研究[D];天津大学;2014年

8 廖静欣;基于电子商务平台的数据分析系统[D];广东外语外贸大学;2016年

9 周乐安;气象数据分析系统的设计与预报应用[D];杭州电子科技大学;2016年

10 冯伟;基于云计算的海量数据分析系统的研究与实现[D];上海交通大学;2012年

，

本文编号：773703