基于关联分类的短信分类研究

发布时间：2017-09-04 20:23

  本文关键词：基于关联分类的短信分类研究

  更多相关文章： 短信分类 关联分类 语序 ACW

【摘要】：短信作为手机重要功能之一,在给用户提供方便、快捷的沟通方式的同时,也给用户带来了烦恼,非法和广告等垃圾短信混杂在正常短信之中,严重干扰人们的日常生活,甚至造成巨额经济损失。虽然目前专家、学者对拦截垃圾短信提出了很多研究方法并取得了大量研究成果,但垃圾短信拦截的准确率和召回率还有待提高。因此如何有效提高垃圾短信拦截准确率和召回率,从而提高用户满意率,仍是研究重点。本文的主要工作:(1)提出基于语序的关联分类算法ACW(Associat ive Classificat ion Based on Word Order)。ACW算法通过改进Apriori算法,将关联分类与语序相结合,将挖掘出的频繁项依据语序排列,生成易于理解和调整的分类规则。(2)选择分类准确率大于预定阈值和任意两条规则分别正确分类的短信集合不存在包含关系的规则,达到删除歧义规则,减少冗余规则,调整分类规则集的目的,从而提高短信分类准确率。(3)在挖掘并生成分类规则前,预处理数据,包括分词、聚类、数据替换、敏感词处理、去停用词和获取特征词等,提高规则生成效率,降低特征向量空间维度,减少系统资源开销。(4)本研究内容经过测试达到了设计要求,并在联想研究院“骚扰短信拦截”项目中进行实际上线应用,证明该研究内容具有实际应用价值。
【关键词】：短信分类 关联分类 语序 ACW
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.1
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-14
• 1.1 研究背景和研究意义8-9
• 1.1.1 研究背景8
• 1.1.2 研究意义8-9
• 1.2 国内外研究现状9-11
• 1.2.1 国内研究现状9-10
• 1.2.2 国外研究现状10-11
• 1.3 主要研究内容11-12
• 1.4 论文结构12-14
• 第2章 背景知识14-18
• 2.1 关联规则14-16
• 2.1.1 基本概念14-15
• 2.1.2 Apriori算法15-16
• 2.2 关联分类16-17
• 2.2.1 概述16-17
• 2.2.2 CBA算法17
• 2.3 本章小结17-18
• 第3章 ACW算法设计18-28
• 3.1 概述18
• 3.2 算法设计18-27
• 3.2.1 规则生成19-23
• 3.2.2 规则选择23-26
• 3.2.3 短信分类26-27
• 3.3 本章小结27-28
• 第4章 基于ACW算法的短信分类实现28-42
• 4.1 短信分类整体设计28
• 4.2 数据预处理28-39
• 4.2.1 分词28-31
• 4.2.2 聚类31-32
• 4.2.3 短信分类标准制定32-34
• 4.2.4 数据替换34-37
• 4.2.5 敏感词处理37-38
• 4.2.6 去停用词38
• 4.2.7 特征词选择38-39
• 4.3 ACW算法分类短信39-41
• 4.3.1 规则生成40-41
• 4.3.2 规则选择41
• 4.3.3 短信分类41
• 4.4 本章小结41-42
• 第5章 测试42-52
• 5.1 测试设计42-44
• 5.1.1 测试环境42
• 5.1.2 测试步骤42-44
• 5.1.3 测试评价标准44
• 5.2 测试结果及分析44-50
• 5.3 本章小结50-52
• 结论52-54
• 参考文献54-58
• 攻读硕士学位期间所发表的学术论文58-60
• 致谢60

，

本文编号：793637