基于贝叶斯算法的垃圾弹幕过滤方法的研究

发布时间：2020-06-13 21:12

【摘要】：近年来,随着互联网技术的不断发展,观看直播的休闲娱乐方式广受青少年欢迎。直播最吸引人的地方在于其超强的实时性和互动性,在直播间的用户可以通过发送弹幕的方式和直播间其他用户进行交流。所谓“弹幕”是一种新型的用户评论展示方式,它不像原始的评论均放在讨论区展示,弹幕评论会从直播画面上划过,使用户具有很强的参与感。正是因为弹幕文本的实时性,一条弹幕文本信息可以快速地传递给直播间所有的用户。所以,如果直播弹幕中存在大量包含侮辱性语言和不良信息的垃圾弹幕,则会影响用户的观看体验,造成用户流失。传统的处理垃圾弹幕问题的方法主要是设置关键字和人工审阅两种,效率和正确率很难得到保障。因此,考虑将文本分类算法运用到弹幕文本的分类上,使得服务器能够自动分类出垃圾弹幕并进行过滤,避免推向直播间所有用户,以此提高直播间弹幕质量,达到提高直播观看体验的目的。朴素贝叶斯算法是一种常见的文本分类算法,是通过计算先验概率和条件概率,再利用贝叶斯定理转换求解后验概率的过程。基于贝叶斯的垃圾弹幕过滤算法在贝叶斯算法的基础上,结合弹幕文本所具有的平台相关性特点,利用用户平台等级特征来辅助后验概率对弹幕文本进行分类。另外,结合弹幕文本所具有的连续相似性特点,设计了一种基于LRU的弹幕分词和分类结果的键值对缓存,减少算法对于连续几条相似弹幕的重复分类计算问题,优化算法过程。最后本文通过爬虫算法爬取直播平台真实的弹幕数据,并利用该数据设计测试。进行实现和测试后,通过选定的算法评价指标,验证了本文所提到的基于贝叶斯算法的垃圾弹幕过滤方法的有效性。
【图文】：

流程图,文本分类,弹幕,流程

华中科技大学硕士学位论文垃圾弹幕过滤问题的核心是要区分开正常弹幕和垃圾弹幕，弹幕同邮件和短信，也是由汉子，字母，，符号，数字等组合而成的具有一定意义的文本对象，所以弹幕的判断问题归根到底还是文本分类的问题。文本分类是由计算机按照一定类体系或标准，对文本内容所属类别进行自动预测的方法[32]。想要判断一条弹否是垃圾弹幕，首先要对该条弹幕去除所有与文本内容无关的无效标记，如一些符号，数字和特殊符号，留下弹幕文本中的纯文字数据。然后进行中文分词，由幕中可能会出现一些如“的”“啊”等一些虚词或是连词，所以对分出来的词要停用词过滤，留下一些和语义关联较大的词。最后通过剩下的词所表现的特征，分类算法对该条弹幕进行分类，判断其是属于正常弹幕还是垃圾弹幕。文本分类程图如图 2-1 所示。

近邻算法,特征距离

arest Neighbor）是一种采用测量不同特征之间在一个已经训练好的样本数据集合，并且该样本新输入一个未知类别的对象时，将新数据所有的比较，然后提取出样本中与新数据特征距离最多数属于哪一类则把新数据分到该类[33]。类场景如图 2-2 所示，已经有一个样本数据集在有一个新的圆形数据想要判断其是属于三角本集合里的其他数据的特征距离用两个数据之形特征距离最近的是 2 个三角形和 1 个矩形， k 选择 5 的话，与圆形特征距离最近的是 2 个三类成矩形。因此可以看出 k 近邻算法对 k 值非果。另外，每当有一个新数据需要进行分类时的特征距离，计算量较大。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.3;TP18

【相似文献】