基于正则化朴素贝叶斯的用户分类算法的研究

发布时间：2020-02-06 01:22

【摘要】：推荐系统在电子商务和信息推送等场合有十分重要的应用,它把训练数据中的用户进行预分类,然后根据用户预分类结果,判断一个具体用户的个人偏好并推送个性化服务信息,提高了用户的体验满意度。朴素贝叶斯分类器具有优良的分类性能,已被应用在推荐系统的用户分类中,但由于推荐系统的训练数据集存在高维度、不完备等问题,导致用户分类的精度、计算时间、抗噪音干扰等性能不佳。针对这些问题,本文研究使用Shrinkage正则化技术改进朴素贝叶斯分类算法,提出正则化朴素贝叶斯用户分类算法,主要研究内容如下:高斯朴素贝叶斯相当于一个对角协方差的朴素贝叶斯分类器,一定程度上减弱样本属性条件独立假设对分类结果的负面影响,但数据样本联合概率估计误差大的问题仍存在。在训练数据时,在高斯密度函数中引入罚因子和Shrinkage正则化方法,自动调整属性条件的权重,将非关键属性的权重降低,使协方差估计值接近原矩阵向量,避免过拟合,减小样本联合概率估计的误差,从而改善算法的分类效果,提高了分类精度。应用Adaptive Boosting(Ada Boost)自适应提升算法改进正则化朴素贝叶斯用户分类器的精度。首先设定初始弱分类器权重,然后通过迭代方法,获取弱分类器的最优组合权重系统,把弱分类器组合成强分类器,提升了分类器的精度。最后将所提的算法应用于用户分类问题,在Movie-leans和UCI数据集上验证算法的可行性,并与传统朴素贝叶斯、核函数贝叶斯、支持向量机、决策树等分类算法进行比较,实验结果表明:所提算法的分类精度优于相比较的其他算法,计算时间比传统朴素贝叶斯算法有数倍的提高,本文引入Shrinkage正则化方法和Ada Boost提升技术对减少高斯贝叶斯联合概率密度误差和优化计算时间是可行的。
【图文】：

高斯分布

ｆＷ邋＝邋ｅｘｐｆ＾Ｍ￡ＺＬ＾ｌ逦（３－８）逡逑Ｉ邋。邋Ｊ逡逑上式为高斯分布的密度函数标准形态，高斯分布图３－１中，左侧线条均值是－４，标准差逡逑是１，右侧线条均值是６，标准差是１．５，很明显看到高斯函数被分为两部分，此刻分类逡逑出现，如果一个点出现在偏左侧区域，则该点归类为左侧类，反之则归类为右侧类。逡逑曲逡逑挺应＆３？＾＾－．１．，么＇帮於泌成．：》＇？化＇‘’－－．、－；巧。－，？；＇邋＊－／邋＜邋＞．邋＇ｓｒ－＞ＷＨ？ｓｓｓＳａ？！？邋＇逡逑图３－１高斯分布度逡逑Ｆｉｇｕｒｅ邋３－１邋Ｇａｕｓｓｉａｎ邋ｄｉｓｔｒｉｂｕｔｉｏ打出ａｇｒａｍ逡逑由上述分析可得，如果建立了良好的高斯分布函数模型，即知道训练数据集的均但、逡逑方差，那么就可找到分类的临界点。对于朴素贝叶斯中ｐ（ｘ｜ｃ）可理解为Ｃ类中，Ｘ逡逑特征发生的概率一Ｘ的概率密度。那么整个高斯贝叶斯分类器架构就是：逡逑１）选取输入样本的属性特征，并采用高斯密度函数对各个类别的概率密度函数进行创逡逑建，将创建的密度函数作为先验概率；逡逑巧在预测时

对比图,准确率,对比图,算法

逦逦０．００２４逦０．００７２逦０．１４４０逦０．００１７逡逑准确率逦０．５３１４逦０．７１９６逦０．９１１９逦０．９３４１逡逑ｓｏｙｂｅａｎ逦ＡＵＣ逦０．９１６９逦０．９７８３逦０．９９６９逦０．９９６５逡逑－邋时间逦０．０４６４逦０．４９５０逦２．６８７２逦０．００９２逡逑准确率逦０．９０４５逦０．９１２５逦０．９１６８逦０．９０６９逡逑ｂａｌａｎｃｅ逦ＡＵＣ逦０．９５７０逦０．９４６８逦０．９８４５逦０．９７７６逡逑时间逦０．００２３逦０．００７６逦０．３２２７逦０．００２０逡逑准确率逦０．９３０１逦０．７２０７逦－逦０．９４１６逡逑ｄｎａ逦ＡＵＣ逦０．Ｗ８９逦０．９１６１逦－逦０．９９２０逡逑＾逦０．１３０４逦０．３４０９逦－逦０．０４５１逡逑准确率逦０．６４２８逦０．７０５３逦－逦０．８８２２逡逑ｌｅｔｔｅｒ逦ＡＵＣ逦０．９５０６逦０．９７６９逦－逦０．９９６１逡逑＾逦０．０５２２逦０．２５２８逦－逦０．１７１２逡逑表３－３是本文算法在五个数据集情况下与其他算法在不同评价指标下的比较。逡逑
【学位授予单位】：广西大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3

【相似文献】