面向商品的垂直搜索系统的设计与实现

发布时间：2020-05-25 21:30

【摘要】：随着电子商务的快速发展带来了用户消费习惯的改变,网上购物的用户不断增长。为了购买一款商品,往往需要在不同的商家进行同一款商品的价格比较、优惠信息的比较、好评率比较等。面向商品的垂直搜索系统的应用也风靡一时,但是目前是世面上的相关产品普遍商品数据量小、精准度低、时效性低。于是就需要高精准度、高时效性的面向商品的搜索引擎服务。本文与多家知名电商合作,对商品数据进行一系列的处理、通过面向商品的垂直搜索系统,为用户提供商品价格比较、优惠信息的比较、好评率比较等功能的精准商品搜索与购买服务。面向商品的垂直搜索系统是来源于百度公司垂直搜索产品线的实际项目,属于互联网搜索引擎领域。商品垂直搜索系统是基于商品数据为基础,明确用户需求,提供面向商品的垂直搜索及购买服务。本项目主要包括三个部分,数据引入、数据加工、垂直搜索系统的设计与实现。在分布式计算平台上进行海量数据引入、数据加工等相关前期数据处理工作。数据引入包括数据拉取、数据爬取。拉取合作方的商品数据,爬取合作方无法提供的商品数据。爬取是通过使用Python的Scrapy框架实现的。数据加工包括数据清理、数据分类、数据去重、数据集成等操作。数据加工使用了中文分词、分类算法、Simhash等相关技术。待数据处理后,进行垂直搜索系统的设计与实现。包括索引建立、搜索词处理以及检索排序。最后通过前端搜索界面与用户进行交互。本人主要负责产品的数据拉取功能的设计与开发以及数据爬取功能的设计与开发,数据分类功能模块的设计与开发,数据去重功能模块的去重模块设计与开发,包括去重算法选取、中文分词、关键词提取以及在分布式计算平台上进行海量数据去重功能的实现。商品数据集成的方案设计与功能模块的开发。本论文完成的面向商品的垂直搜索系统,经过对各模块进行功能测试,均已达到了预想的效果,可以为用户提供更便捷、更高效、更实惠的商品搜索与购买服务。
【图文】：

流程图,流程图,哈希,单词

图２－１邋Ｓｉｍｈａｓｈ流程图逡逑Ｆｉｇｕｒｅ邋２－１邋Ｆｌｏｗ邋Ｃｈａｒｔ邋ｏｆ邋Ｓｉｍｈａｓｈ逡逑词：第一步就是给句子进行分词，接下来给每一个词加上权重，越高。权重设置了五个等级，分别用数值１？５表示，数字越“全面屏改变的不仅仅是信息呈现”，分词后为“全面屏（５）改仅（２）是（１）信息（４）呈现（２）”，括号里是代表单词的重希：通过哈希算法把每个词变成哈希值，比如“全面屏”通过０１０１，“信息”通过Ｈａｓｈ算法计算为１０１０１１。这样每个词语就我们进行相似度计算打下了很好的基础。逡逑：通过步骤二的哈希生成结果，需要按照单词的权重形成加权屏”的哈希值为“１１００１０”，通过加权计算为“５邋５邋－５邋－５邋５邋－５”，ｈ值为“１００１００”，通过加权计算为“３邋－３邋－３邋３邋－３邋－３”。逡逑：把上面各个单词算出来的序列值累加，变成只有一个序列的“５邋５邋－５邋－５邋５邋－５”，“改变”的“３－３－３邋３－３－３”，把每一位进

哈希,海量,字符串,索引

的数据是海量的这一特点，我们应该考虑使用一些更具效率的存储。其实Ｓｉｍｈａｓｈ逡逑算法输出的Ｓｉｍｈａｓｈ签名可以为我们很好建立索引，，从而大大减少索引的时间。逡逑Ｓｉｍｈａｓｈ存储图如图２－２所不。逡逑逦邋逦逦逦逦逦逦逦逡逑；逦ｎ＾ｎ逦Ｉ邋丨１咐邋￣￣１逦Ｉ逡逑°逦逦邋放大；逦邋：逡逑１0逦１０１．．．邋１０１．．邋．邋０１０．．．邋ｉｌＯ．．．邋逦？邋：邋｜邋０００R[]嫞癛[．．．逦：逡逑１逦：邋１邋０邋０邋０邋０邋０邋０邋００邋００邋０邋０邋０邋０￣邋３－＾Ｓ＞逦＜ｓ＞邋Ｉ逡逑ｎ逦重备位逦！邋Ｉ逦．…－邋Ｉ逦＊逡逑逦＝＝＇＂＂＝■逦邋ｉ邋Ｉ邋0000000000（）00Ｏｉｌ邋＼．．．邋＜５＞Ｎ＞邋：逡逑？分枿逦ｉ逦’逦ｓ逡逑0逦＾逦Ｉ」６位邋１逦：逦；逡逑Ｊ逦１０１．．．邋１０１邋．．邋．０１０．．．邋１１０．．．逦：逦＾逦ｉ逦：逡逑0逦：逦１逦１１邋ｉ邋１１１１邋ｎ邋１１１１１邋0邋１逦］—．．．逦：逡逑１逦１邋啦逦：：｜邋１１１１邋ｉｌｌ邋ｍｉｎｉ邋ｉＴｌ￣：逡逑＼逦ｊ逦ｒｎｉＴＴＴＴｎｎ—ｎ＿？命邋Ｉ逡逑0逦：逦＼逡逑图２－２邋Ｓｉｍｈａｓｈ存储图逡逑Ｆｉｇｕｒｅ２－２邋Ｄｉａｇｒａｍ邋ｏｆ邋Ｓｉｍｈａｓｈ邋Ｓｔｏｒｅａｇｅ逡逑我们使用的Ｓｉｍｈａｓｈ是局部敏感哈希，这个算法的特点是只要相似的字符串逡逑９逡逑
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.3

【参考文献】