电商网站的搜索与推荐引擎的设计与实现

发布时间：2020-08-21 10:45

【摘要】：随着互联网和电子商务的发展,电商网站在为用户提供越来越多选择的同时,也让用户很难在海量的商品中快速的发现自己喜欢的商品。如何让用户快速的找到自己想要的商品,如何发现用户潜在的需求,对于电子商务网站是至关重的。因此,搜索和推荐引擎在电子商务系统中有着非常广阔的发展和应用前景。但是随着电商网站规模的不断扩大,电商网站也面临一系列挑战。针对电子商务网站面临的主要挑战,本文主要对电子商务网站中的搜索和推荐算法设计和系统架构等关键技术进行探索和研究。本文详细分析和研究了当前商品匹配中存在的问题和挑战,以及相应的解决方案,并详细介绍了搜索和推荐引擎的设计,实现了高并发的分布式搜索与推荐引擎。搜索引擎主要包括查询词预测,索引,排序,模型四大模块;索引部分包括增量索引,实时索引和全量索引三种方式,排序模块包括精排,粗排和重排三大部分;在搜索匹配方面考虑了买家和卖家的历史数据,查询条件信息,以及商品的信息,根据这些数据训练逻辑回归模型,提升匹配精度;在推荐方面,通过对协同过滤推荐算法和基于内容匹配算法的分析以及效果对比,发现基于内容的推荐算法商品转化率高于协同过滤算法,后对基于内容的推荐算法通过增加类目权重的方式,提高了推荐的转化率,实现了系统功能结构图设计,详细设计、数据库设计和类图的关系设计。经过系统测试,本文设计的搜索与推荐引擎方案在搜索与推荐的准确率方面取得不错的效果,满足用户的功能要求和性能要求。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.3;TP393.092
【图文】：

用例图,用例图

-8-图 2-1 系统用例图2.2 非功能性需求分析（1）高效性：系统对用户每次请求的响应时间非常影响用户的体验，所以性能问题是系统的核心问题，对于上亿高并发的请求，以及数十亿的搜索数据，系统能够保证实时准确的返回用户的请求信息。通过应用分布式服务框架，中间件技术对数据进行分库分表，搜索与推荐的系统响应时间达到 200ms 以内。（2）稳定性：系统用户随着时间增多，服务器的压力越来越大，用户的历史数据越来越大，这一些都会对系统造成一定的挑战，增加故障的概率，因此保证系统的可靠性是至关重要的，系统通过分布式框架以及负载均衡等一系列措施，保证系统稳定性，系统保证能承受住每秒 1000 万的访问量。

调用图

就会重新获取用户信息。（4）健壮性：系统对于突发的状况以及一些预期之外的场景必须有快速有效的应对方法，系统对于核心数据都进行备份，包括一些容灾的配置管理，能够及时的应对处理突发情况，快速恢复系统运行。2.3 系统开发技术概述2.3.1 HSF 中间件其主要功能是为应用程序提供分布式服务框架，类似于 Dubbo 和其他分布式服务框架,一个简单的 RPC 组件。通过 netty 的传输方式，提高远程通信的效率，可以通过同步异步方式进行调用，通过 hessian 进行序列化，降低性能损耗，实现负载均衡，提供服务可用性的保障，对故障进行检测分析，版本控制等功能。服务调用图如图 2-2 所示：ConfigServer

图 2-3 TDDL 分库分表图DDL 中间件总共分为三层，分别是 Matrix，Group，Atom，这三层又相这不同的功能；atrix：根据用户传过来的 sql 找到对应的 Group（数据切分）roup：根据权重找到对应的 atom（读写分离、主备切换）tom：对应了真是的数据源（链接管理、动态数据源）片：提高写性能、提供读性能。余：提高可用性，实现方式同步写、异步写、半同步写。组：分片和冗余的综合。由规则：range、hash、路由服务。高读性能的方式：索引、缓存、从库等等。高写性能的方式：分片、增加写库、异步写。.3.3 webxWebX 是一个通用的 Web 框架基于 java Servlet API。基于 Spring 提

【参考文献】