一种用户行为数据管理平台的设计与实现
发布时间：2022-10-19 14:31
随着用户数据的爆炸式增长,可靠的用户画像可以帮助企业了解用户的真实意图,从而做出个性化的推荐搜索、广告投放。阅文集团拥有数亿用户,但对用户的数据价值还缺乏足够的挖掘。基于以上背景,阅文集团需要从海量的用户阅读行为数据中构建出一套可以供多个下游业务方使用的、高灵活性的、高扩展性的、高并发的用户行为数据服务平台。本文通过分析当前阅文集团数据管理方式的现状,针对其现有的数据混乱、难以管理等缺点以及构建新平台的需求,从设计与实现两个方面讨论了一种用户行为数据管理平台的解决方案,该解决方法在公司内被命名为阅文智能用户行为挖掘平台,简称YUDS。该系统利用Lambda架构,通过Schema解耦合等方式,构建了三个模块——检索模块、存储模块以及更新模块,最终向各个业务方提供统一的数据读取接口,并为后续挖掘完善的用户画像提供工程基础。其中检索模块接收用户请求,调用对应的Plugin实现具体数据读取以及处理逻辑,并对已经在平台上注册的Plugin进行管理,是整个平台对外的门户;存储模块最重要的功能是实现逻辑表的创建以及实现逻辑表与物理表之间的映射关系管理,屏蔽底层数据库差异,一次性向外提供离线/实时两份...
【文章页数】：79 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 引言
1.1 项目背景
1.2 国内外研究现状
1.2.1 用户画像概述
1.2.2 阅文集团数据管理现状
1.3 本文主要研究的工作
1.4 本文的组织结构
第二章 技术综述
2.1 Lambda架构
2.2 Brpc框架
2.3 Protobuf协议
2.4 Kafka消息队列
2.5 Flink流处理框架
2.6 Redis内存数据库
2.7 本章小结
第三章 阅文用户行为数据管理平台的分析与设计
3.1 项目总体规划与主要挑战
3.2 系统需求分析
3.2.1 系统用例及功能性需求分析
3.2.2 检索模块需求分析
3.2.3 更新模块需求分析
3.2.4 存储模块需求分析
3.2.5 非功能性需求分析
3.3 系统总体设计与模块设计
3.3.1 总体设计
3.3.2 检索模块YUPortal设计
3.3.3 更新模块YUpdater设计
3.3.4 存储模块YUDStorage设计
3.4 本章小结
第四章 阅文用户行为数据管理平台的实现
4.1 检索模块YUPortal的实现
4.1.1 YUPortal服务端实现
4.1.2 Plugin相关实现
4.2 存储模块的实现
4.2.1 YUDStorage的实现
4.2.2 StorageMeta的实现
4.3 阅文用户行为数据管理平台框架测试
4.3.1 功能测试
4.3.2 非功能测试
4.4 本章小结
第五章 总结与展望
5.1 总结
5.2 进一步工作展望
参考文献
致谢
【参考文献】：
期刊论文
[1]一种高效的Redis Cluster的分布式缓存系统[J]. 李翀,刘利娜,刘学敏,张士波. 计算机系统应用. 2018(10)
[2]基于kafka消息平台的软件系统设计[J]. 裴宏祥,于晓虹. 电子技术与软件工程. 2018(18)
[3]国内外用户画像研究综述[J]. 刘海鸥,孙晶晶,苏妍嫄,张亚明. 情报理论与实践. 2018(11)
[4]Flink的并行Apriori算法设计与实现[J]. 倪政君,夏哲雷. 中国计量大学学报. 2018(02)
[5]基于Hadoop、Spark及Flink大规模数据分析的性能评价[J]. 代明竹,高嵩峰. 中国电子科学研究院学报. 2018(02)
[6]用户画像概念溯源与应用场景研究[J]. 亓丛,吴俊. 重庆交通大学学报(社会科学版). 2017(05)
[7]浅谈用户画像构建及应用[J]. 隋国政. 电子世界. 2017(15)
[8]基于Hadoop、Storm、Samza、Spark及Flink大数据处理框架的比较研究[J]. 赵娟,程国钟. 信息系统工程. 2017(06)
[9]Redis集群可靠性的研究与优化[J]. 李燚,顾乃杰,黄增士,任开新. 计算机工程. 2018(05)
[10]基于Flink平台的应用研究[J]. 蔡鲲鹏. 现代工业经济和信息化. 2017(02)
博士论文
[1]基于社交大数据的用户信用画像方法研究[D]. 郭光明.中国科学技术大学 2017
硕士论文
[1]基于话单数据的移动通信用户画像研究[D]. 张海旭.中国科学技术大学 2018
[2]基于Kafka的消息发布订阅服务的设计与实现[D]. 卢帅.南京大学 2018
[3]基于Redis的分布式Key-Value系统的优化研究[D]. 周晓场.华南理工大学 2018
[4]基于动漫大数据的用户画像建模与营销策略管理平台的实现[D]. 张子超.北京邮电大学 2018
[5]基于文本挖掘的用户画像系统的设计与实现[D]. 刘星辰.北京邮电大学 2018
[6]面向ODL网络控制器集群高性能分布式锁的研究与实现[D]. 王兵.东南大学 2017
本文编号：3693538
【文章页数】：79 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 引言
1.1 项目背景
1.2 国内外研究现状
1.2.1 用户画像概述
1.2.2 阅文集团数据管理现状
1.3 本文主要研究的工作
1.4 本文的组织结构
第二章 技术综述
2.1 Lambda架构
2.2 Brpc框架
2.3 Protobuf协议
2.4 Kafka消息队列
2.5 Flink流处理框架
2.6 Redis内存数据库
2.7 本章小结
第三章 阅文用户行为数据管理平台的分析与设计
3.1 项目总体规划与主要挑战
3.2 系统需求分析
3.2.1 系统用例及功能性需求分析
3.2.2 检索模块需求分析
3.2.3 更新模块需求分析
3.2.4 存储模块需求分析
3.2.5 非功能性需求分析
3.3 系统总体设计与模块设计
3.3.1 总体设计
3.3.2 检索模块YUPortal设计
3.3.3 更新模块YUpdater设计
3.3.4 存储模块YUDStorage设计
3.4 本章小结
第四章 阅文用户行为数据管理平台的实现
4.1 检索模块YUPortal的实现
4.1.1 YUPortal服务端实现
4.1.2 Plugin相关实现
4.2 存储模块的实现
4.2.1 YUDStorage的实现
4.2.2 StorageMeta的实现
4.3 阅文用户行为数据管理平台框架测试
4.3.1 功能测试
4.3.2 非功能测试
4.4 本章小结
第五章 总结与展望
5.1 总结
5.2 进一步工作展望
参考文献
致谢
【参考文献】：
期刊论文
[1]一种高效的Redis Cluster的分布式缓存系统[J]. 李翀,刘利娜,刘学敏,张士波. 计算机系统应用. 2018(10)
[2]基于kafka消息平台的软件系统设计[J]. 裴宏祥,于晓虹. 电子技术与软件工程. 2018(18)
[3]国内外用户画像研究综述[J]. 刘海鸥,孙晶晶,苏妍嫄,张亚明. 情报理论与实践. 2018(11)
[4]Flink的并行Apriori算法设计与实现[J]. 倪政君,夏哲雷. 中国计量大学学报. 2018(02)
[5]基于Hadoop、Spark及Flink大规模数据分析的性能评价[J]. 代明竹,高嵩峰. 中国电子科学研究院学报. 2018(02)
[6]用户画像概念溯源与应用场景研究[J]. 亓丛,吴俊. 重庆交通大学学报(社会科学版). 2017(05)
[7]浅谈用户画像构建及应用[J]. 隋国政. 电子世界. 2017(15)
[8]基于Hadoop、Storm、Samza、Spark及Flink大数据处理框架的比较研究[J]. 赵娟,程国钟. 信息系统工程. 2017(06)
[9]Redis集群可靠性的研究与优化[J]. 李燚,顾乃杰,黄增士,任开新. 计算机工程. 2018(05)
[10]基于Flink平台的应用研究[J]. 蔡鲲鹏. 现代工业经济和信息化. 2017(02)
博士论文
[1]基于社交大数据的用户信用画像方法研究[D]. 郭光明.中国科学技术大学 2017
硕士论文
[1]基于话单数据的移动通信用户画像研究[D]. 张海旭.中国科学技术大学 2018
[2]基于Kafka的消息发布订阅服务的设计与实现[D]. 卢帅.南京大学 2018
[3]基于Redis的分布式Key-Value系统的优化研究[D]. 周晓场.华南理工大学 2018
[4]基于动漫大数据的用户画像建模与营销策略管理平台的实现[D]. 张子超.北京邮电大学 2018
[5]基于文本挖掘的用户画像系统的设计与实现[D]. 刘星辰.北京邮电大学 2018
[6]面向ODL网络控制器集群高性能分布式锁的研究与实现[D]. 王兵.东南大学 2017
本文编号：3693538
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3693538.html
