基于垂直搜索的查询需求识别系统的设计与实现

发布时间：2024-05-14 01:21

　　该项目来源于百度垂直行业搜索产品线的实际项目。随着智能手机的普及,越来越多的用户开始使用手机端进行检索。由于手机大小的限制,一个屏幕可以呈现三条左右的返回结果,因此在前三条结果中返回用户需要的信息成为手机端检索的新挑战。当前的检索策略是由通用搜索对结果进行统一整合,信息划分粒度较粗,不能满足用户的垂类(某一特定行业、特定领域,例如汽车,医疗等垂类)细分需求。为了提升用户在手机端的检索体验,项目组决定开发一个用户需求识别的内部系统来对用户需求进行离线挖掘,方便产品人员和研发人员对垂类资源的管理和监控。本文首先阐述了项目的背景以及国内外现状,对整个系统进行功能性和非功能性需求分析。根据需求分析设计系统架构、划分系统功能模块、设计系统数据库。接着对系统进行详细设计与实现。作者独立完成了样本抽取和模型训练这两个底层模块,以及系统的用户管理、样本标注评估和需求泛化模块的开发工作,参与完成了资源管理模块的部分开发工作。在系统设计和实现过程中,调研分类模型、用户行为评估和数据融合三种技术方案对样本数据的提取率,从半结构化数据中提取用户需求样本;评估常用二分类算法在当前业务场景下的效果,选择xgboo...

【文章页数】：82 页

【学位级别】：硕士

【部分图文】：

图２－１?Ｈａｄｏｏｐ系统架构图??Ｆｉｇｕｒｅ?２－１?Ｓｙｓｔｅｍ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?Ｈａｄｏｏｐ??

ｐｙｔｈｏｎ中的调参库ｈｙｐｅｒ?ｏｐｔ。??２．１?Ｈａｄｏｏｐ??Ｈａｄｏｏｐ是一个由多组件构成，能够对大数据进行分布式处理的架构［１］，图２－１??所示，Ｈａｄｏｏｐ?的最底部组件是?ＨＤＦＳ?（Ｈａｄｏｏｐ?Ｄｉｓｔｒｉｂｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ，?Ｈａｄｏｏｐ?....

图２－２?ＭａｐＲｅｄｕｃｅ运行原理??Ｆｉｇｕｒｅ?２－２?Ｏｐｅｒａｔｉｎｇ?ｐｒｉｎｃｉｐｌｅ?ｏｆ?ＭａｐＲｅｄｕｃｅ??

ｐｙｔｈｏｎ中的调参库ｈｙｐｅｒ?ｏｐｔ。??２．１?Ｈａｄｏｏｐ??Ｈａｄｏｏｐ是一个由多组件构成，能够对大数据进行分布式处理的架构［１］，图２－１??所示，Ｈａｄｏｏｐ?的最底部组件是?ＨＤＦＳ?（Ｈａｄｏｏｐ?Ｄｉｓｔｒｉｂｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ，?Ｈａｄｏｏｐ?....

图２－４?Ｓｋｉｐ－ｇｒａｍ原理图??Ｆｉｕｒｅ?２－４?Ｓｃｈｅｍａｔｉｃ?ｏｆ?Ｓｋｉ－ｒａｍ??

Ｗｏｒｄ２ｖｅｃ包含两种不同的算法，一个是ＣＢＯＷ：全称是Ｃｏｎｔｉｎｕｏｕｓ?Ｂａｇ?ｏｆ??Ｗｏｒｄｓ，另一个是?Ｓｋｉｐ－ｇｒａｍ［７］。??图２－３所示，ＣＢＯＷ的原理是根据一个词的上下文来对当前词做预测，给定??一段文本，将“银行”去除，利用剩余的“政府”，“账户”等词....

图２－３?ＣＢＯＷ原理图??Ｆｉｇｕｒｅ?２－３?Ｓｃｈｅｍａｔｉｃ?ｏｆ?ＣＢＯＷ??

Ｗｏｒｄ２ｖｅｃ包含两种不同的算法，一个是ＣＢＯＷ：全称是Ｃｏｎｔｉｎｕｏｕｓ?Ｂａｇ?ｏｆ??Ｗｏｒｄｓ，另一个是?Ｓｋｉｐ－ｇｒａｍ［７］。??图２－３所示，ＣＢＯＷ的原理是根据一个词的上下文来对当前词做预测，给定??一段文本，将“银行”去除，利用剩余的“政府”，“账户”等词....

本文编号：3972984