基于网络爬虫与短文本相似度的网售化妆品监管系统的研究与设计

发布时间：2020-10-13 22:48

　　 在经济快速发展,人民生活水平稳步提升的新时代,网购已经成为当下最为流行的购物方式。化妆品作为日常生活用品,其需求量日益提升。然而,关于网购出现假冒伪劣的化妆品事件不断爆出,并引起广泛关注。因此,完善网售化妆品的监管显得尤为重要。为强化企业自律诚信意识,方便监管部门对网售化妆品进行监管,本文研究设计了一套网售化妆品监管系统。首先,论文从研究背景及其意义出发,分析了当前化妆品监管系统的优缺点以及相关技术的国内外研究现状,从而确定论文所要研究的内容及其研究方法。然后具体介绍了相关技术,在分析天猫网页URL的基础上,结合Bloom Filter的特点,对网络爬虫中的链接过滤模块进行改进,减少了因Bloom Filter存在误判率而带来的误差,使其在URL去重环节更适合于本系统。接着,论文在结合系统实际需求的基础上,对其进行需求分析以及系统设计。通过对用户权限及业务流程的分析,明确系统所需功能,利用UML建模工具进行建模,画出相关用例图;以上述需求为基础,确定系统构架,完成功能模块的详细设计及各模块数据库的设计。最后,使用Visual Studio 2012、SQL Server 2008 R2开发工具、C#开发语言,结合IIS、.NET Framework等技术对网售化妆品监管系统进行编码实现以及网站部署。目前该系统功能已完成,基本已达到预期效果,信息采集、比对及编码方案切实可行。
【学位单位】：南昌航空大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP311.52
【部分图文】：

7图 2-1 通用网络爬虫工作流程（1）在互联网中选取一部分网页，以其链接地址作为种子 URL。（2）将种子 URL 放入待抓取 URL 队列中，爬虫从队列中依次读取。（3）读取的 URL 经过 DNS 进行解析后转换为网站服务器对应的 IP 地址然后通过网页下载器等工具对网页进行下载。（4）将已下载的 URL 放入已抓取 URL 队列中，同时从中抽取出新的 U放入待抓取 URL 队列。（5）对未进行抓取的 URL 继续进行循环抓取，直至待抓取 URL 队列为或满足设定条件。

图 2-2 通用网络爬虫系统结构图通用网络爬虫主要包括以下模块：（1）链接队列模块：该模块采用队列的结构来管理和保存相关链接。该模块为页面获取模块提供链接。（2）页面获取模块：通过网页下载器等工具下载链接队列模块提供的链接相对应的网页；该模块的性能很大程度上影响着整个爬虫系统的工作性能，因此多线程、异步以及超时处理的设置较为关键。（3）页面分析模块：该模块在分析获取的网页信息的基础上，提取网页中存在的链接以及部分网页内容，并保存相对应的网页。（4）链接过滤模块：该模块对页面分析模块中提取出来的链接进行过滤，过滤掉已下载过的链接。将过滤后的链接提供给链接队列模块，以充实该模块中的链接。本章重点是在链接过滤模块中，通过分析链接间的关系来进行链接过滤。2.1.2 通用网络爬虫的爬行策略

昌航空大学硕士学位论文 第二章 网络爬虫设计广度优先搜索策略：广度优先搜索策略是一种自顶向底的循环搜索机制，对一级页面中的链接进行遍历，再循环选择其中一个链接，对其下一级页面链接进行遍历，直至最后一级页面。如图 2-3 所示，采用广度优先搜索策略 URL 抓取时，抓取顺序为 A、B、C、D、E、F、G、H。该策略的优点是，极大程度的避免由于页面之间的交叉引用而带来的无限循环的情况。但其缺：由于需要耗费大量，宽度优先搜索策略不太适用于要遍历特定站点和 HTM件深层嵌套的情况。
【相似文献】

相关期刊论文 前7条

1 张静;江西省市各化妆品卫生状况与对策[J];学会;1999年11期

2 方玄昌;;化妆品:危害来自何处[J];中国新闻周刊;2006年37期

3 ;质检总局公布染发剂修饰类化妆品抽查结果[J];产品安全与召回;2012年03期

4 纪连生;;化妆品:美容还是毁容[J];记者观察(下半月);2008年01期

5 ;化妆品卫生标准“十一五”规划[J];信息化纵横;2008年08期

6 梁娜;美容院化妆品暴利揭秘[J];出版参考;2003年29期

7 王晓明 ,雷芳;别把您的脸当成试验田[J];科学与文化;2005年08期

本文编号：2839799