基于深度学习的文本分类与推荐系统研究及实现

发布时间：2021-01-20 02:36

　　伴随互联网+时代的到来,与互联网相关的应用层出不穷,如智慧出行、网络购物、共享出租和资讯与知识的推荐系统等等,给我们的生活带来了巨大的改变。尤其是推荐系统为我们提供了个性化的服务,减少了原本为获取信息而花费的大量检索时间。然而,现在的推荐系统准确率还不够高,智能性也没有达到人们的需求。因此,构建一种准确率更高的智能推荐系统是目前亟待解决的问题。本文提出了一种新的基于深度学习技术的面向阅读应用的智能推荐系统。首先,结合深度学习技术与文档主题概率模型算法,提出了一种文本分类混合模型。该模型利用LDA算法计算出文档主题概率分布,而后将主题分布向量作为输入,利用深度学习算法进行分类训练及预测。实验结果表明,该分类预测准确率高于Naive Bayes算法百分之十左右。其次,设计并实现了基于分类算法的面向阅读的推荐系统。该系统构建于分布式计算平台Spark和分布式存储平台HDFS之上,具体包括系统推荐模块和系统功能模块,极大地提高了系统的可扩展性和运行性能。最终,该面向阅读的推荐系统可以为用户提供准确率高于协同过滤3个百分点的推荐结果,并且系统健壮性和扩展性更好。 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

Kevin和其他两个用户比较

Ｍ??图２－２?ＬＤＡ贝叶斯网络图丨３７】??ＬＤＡ是一个概率图模型，如图２－２所示。图中Ｍ表示所有文档的数量，Ｗ??表示一个文档中词的数量，尺表示总体主题的个数。ａ是文档－主题Ｄｉｒｉｃｈｌｅｔ??分布３的超参数，是主题－词Ｄｉｒｉｃｈｌｅｔ分布％．的超参数，０表示文档丨的主题??分布，表示文档丨中第＿／个词的主题，％表示主题丨的词分布，＇表示一个??１６??

?ｐａｒｔｓ?０．００４６４?ｇｒｏｕｐ?０．００３２８??图３－１文档－主题及主题－词概率表示示例｜５４］??３．２深度语义模型算法的设计与实现??十．－＝■＿??＇?—?Ｈｉｄｄｅ?圍．．ｊｔＬａｙｅｒ??１．．．．．．卜?Ｍ－ｌｌ／ｕ??，＿?ｍ?１１?１??图３－２深度语义模型结构图??如图３－２所示，其展示了一个本文所设计的深度语义模型架构图。图中的前??半部分表示利用ＬＤＡ技术进行主题模型抽取，后半部分为深度学习表示模型，??其输入向量正是ＬＤＡ算法的输出。该模型明确的定义了算法的输入与输出及中??间值的衔接。其数据流动图如图３－３所示。??——＾￣ｎ——ｎ—??Ｄｏｃｕｍｅｎｔ?Ｉｄａ?）?Ｖｅｃｔｏｒ?ｏｆ?ｄｏｃ?ｄｅｅｐ?ｌｅａｒｎｉｎｇ?ｙ?Ｃｌａｓｓｉｃ?ｃａｔｉｏｎ??—／?—ｙ＾—???????图３－３数据流动图??本文所设计的学习模型具有模型一致性和数据连贯性等特点。该模型明确??的将主题特征向量输入到神经网络框架中


本文编号：2988194