基于SVM与Hilbert R-树的定向引擎研究与实现

发布时间：2017-07-02 09:12

  本文关键词：基于SVM与Hilbert R-树的定向引擎研究与实现，由笔耕文化传播整理发布。

【摘要】：随着Internet的飞速发展,互联网上的各种信息应有尽有。然而,人们所感兴趣的信息不尽相同。每个人在从网络获取自己所需信息的同时,每天也在被那些对自己毫无价值的信息所骚扰。因此,如何实时精准地向用户投放信息(如广告、新闻等)是研究人员面临的一个紧迫问题。所谓定向,指的是对受众的筛选。本文主要研究了实现一个精准实时的定向引擎所需的相关技术,主要包括:数据挖掘技术、分布式存储相关的技术、分布式计算相关的技术、空间索引算法、分布式消息系统相关技术等。在此基础上,本文设计并实现了一个支持多维度用户属性的实时定向服务框架。本文的所做的工作主要有:(1)对定向引擎发展现状、当前行业中已经使用的定向引擎所存在的问题进行了相关研究,提出了高效实时的定向引擎必须具有的特征。(2)研究了基于用户信息的数据挖掘技术的原理和方法,设计并实现了一个SVM分类器来对用户部分属性进行分类。(3)研究了用户属性的特点,对用户属性进行分类,利用分而治之的思想,设计并实现了各类用户属性对应的子引擎。(4)研究了分布式key/value存储系统中所使用的相关技术,改进了基于一致性hash算法的开源分布式key/value结构的存储系统,并用其作为固定属性子引擎的存储层,以提高固定属性所圈中用户名单的计算效率。(5)研究了当前成熟的各类空间索引算法,设计并实现了基于Hilbert R-树的地理位置属性子引擎,用于支持基于用户位置属性的定向服务。本文最后对基于上述技术而设计实现的定向引擎进行了功能与性能实验,实验结果表明,本文设计的定向引擎在精准性与实时性方面都表现较好。
【关键词】：信息定向 支持向量机 分布式存储 R-树
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3;TP18
【目录】：

• 摘要5-6
• Abstract6-12
• 第一章 绪论12-20
• 1.1 引言12-13
• 1.1.1 课题研究背景12
• 1.1.2 信息定向的相关概念12-13
• 1.1.3 信息定向引擎的研究意义13
• 1.2 定向引擎研究现状13-17
• 1.2.1 信息定向算法研究13-14
• 1.2.2 相关数据挖掘算法的研究14-16
• 1.2.3 定向引擎的架构设计及研究16-17
• 1.3 课题的贡献与创新点17
• 1.4 本文的主要内容17-18
• 1.5 论文组织结构18-19
• 1.6 本章小结19-20
• 第二章 定向引擎相关技术研究20-40
• 2.1 分布式计算框架介绍20-24
• 2.1.1 分布式计算框架Hadoop20-22
• 2.1.2 实时流计算框架Storm22-24
• 2.2 支持向量机相关研究24-29
• 2.2.1 线性可分与线性不可分24-25
• 2.2.2 最优分类超平面25-27
• 2.2.3 结构风险最小化27-28
• 2.2.4 核函数28-29
• 2.2.5 SVM相关算法研究29
• 2.3 分布式存储相关研究29-34
• 2.3.1 一致性哈希算法30-33
• 2.3.2 Tair介绍33-34
• 2.4 空间索引算法相关研究34-38
• 2.4.1 网格索引34-35
• 2.4.2 基于R-树空间索引35-36
• 2.4.3 基于四叉树空间索引算法36-38
• 2.5 分布式消息中间件相关研究38-39
• 2.5.1 Kafka相关技术研究38-39
• 2.6 本章小结39-40
• 第三章 基于SVM与Hilbert R-树的定向引擎总体设计40-48
• 3.1 引擎设计目标40
• 3.2 用户属性分类40-41
• 3.3 引擎整体框架设计41-42
• 3.4 各子引擎介绍42-46
• 3.4.1 FC_Managment_service架构设计42-43
• 3.4.2 Query_service介绍43-44
• 3.4.3 数据更新模块介绍44
• 3.4.4 固定属性子引擎介绍44-45
• 3.4.5 时间平移属性子引擎介绍45
• 3.4.6 位置属性子引擎介绍45-46
• 3.4.7 易变属性子引擎介绍46
• 3.5 定向引擎对外接.介绍46-47
• 3.6 本章小结47-48
• 第四章 基于SVM与Hilbert R-树的定向引擎实现48-74
• 4.1 RPC协议与Protobuf48-49
• 4.1.1 RPC协议48
• 4.1.2 Protobuf48-49
• 4.2 FC_Managment_service具体实现49-54
• 4.2.1 用户属性分类的实现49-52
• 4.2.2 创建筛选条件接. Create_FC实现52-53
• 4.2.3 修改筛选条件接. Modify_FC实现53-54
• 4.2.4 删除筛选条件接. Delete_FC实现54
• 4.3 Query_service实现54-58
• 4.3.1 Query_service内部架构54-56
• 4.3.2 Query Users接.实现56
• 4.3.3 Compute Node实现56-58
• 4.4 固定属性子引擎实现58-61
• 4.4.1 固定属性子引擎的内部架构58-59
• 4.4.2 固定属性子引擎接.实现59-60
• 4.4.3 定向引擎中Tair的集群部署以及改进60-61
• 4.5 时间平移属性子引擎实现61-65
• 4.5.1 时间平移属性子引擎的内部架构61-63
• 4.5.2 时间平移属性子引擎接.实现63
• 4.5.3 Users List实现63-65
• 4.5.4 用户数据更新65
• 4.6 易变属性子引擎实现65-68
• 4.6.1 易变属性子引擎的内部架构65-67
• 4.6.2 易变属性子引擎接.实现67-68
• 4.6.3 Data Block实现68
• 4.6.4 用户数据更新68
• 4.7 位置属性子引擎实现68-73
• 4.7.1 位置属性子引擎的内部架构69-70
• 4.7.2 位置属性子引擎接.实现70-71
• 4.7.3 基于R-树空间索引算法实现71-72
• 4.7.4 Location Block实现72-73
• 4.7.5 位置信息更新73
• 4.8 本章小结73-74
• 第五章 定向引擎测试与分析74-82
• 5.1 测试工具介绍74
• 5.2 测试环境74
• 5.3 引擎功能测试74-77
• 5.3.1 Query_service功能测试74-75
• 5.3.2 固定属性子引擎功能测试75-76
• 5.3.3 时间平移属性子引擎功能测试76-77
• 5.3.4 易变属性子引擎功能测试77
• 5.3.5 位置属性子引擎以及FC_Management_service功能测试77
• 5.4 引擎性能测试77-81
• 5.4.1 Query_service性能测试78
• 5.4.2 固定属性子引擎性能测试78
• 5.4.3 易变属性子引擎性能测试78-79
• 5.4.4 时间平移属性子引擎性能测试79
• 5.4.5 位置属性子引擎性能测试79-80
• 5.4.6 FC_Management_service性能测试80-81
• 5.5 本章小结81-82
• 总结与展望82-84
• 参考文献84-88
• 攻读硕士学位期间取得的研究成果88-89
• 致谢89-90
• 附件90

【参考文献】

中国期刊全文数据库 前5条

1 黄梦龙,胡鹏;一种改进的网格索引生成方法[J];测绘科学;2004年06期

2 杨_g剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期

3 陆锋,周成虎;一种基于Hilbert排列码的GIS空间索引方法[J];计算机辅助设计与图形学学报;2001年05期

4 肖伟器，，冯玉才，缪勇武;空间对象数据库的网格索引机制[J];计算机学报;1994年10期

5 郭晶;刘广军;董绪荣;郭磊;;基于空间网格和Hilbert R-tree的二级R-tree空间索引[J];武汉大学学报(信息科学版);2005年12期

中国博士学位论文全文数据库 前1条

1 周绮凤;基于支持向量机的若干分类问题研究[D];厦门大学;2007年

中国硕士学位论文全文数据库 前2条

1 高兰兰;基于行为定向的精准广告投放系统的研究与实现[D];北京邮电大学;2012年

2 孙朝华;基于Storm的数据分析系统设计与实现[D];北京邮电大学;2014年

  本文关键词：基于SVM与Hilbert R-树的定向引擎研究与实现，由笔耕文化传播整理发布。

本文编号：509287