一种基于实时网络流量数据的网页过滤方法的研究与实现
发布时间：2021-12-10 03:31
随着互联网的发展,基于Web的应用已经成为信息发布和扩散的主流渠道。网络在提供给人们丰富信息的同时,也充斥了暴力、非法的、不健康的信息,人们获取的信息被渲染了不同的色彩,色情、暴力等不良信息的巨大噱头让未成年人不能从网络中自拔,迷失了人生的道德观和价值观,严重影响了社会的安定团结,因此,我们必须要保证网络的纯净和安全,基于这种需求的业务也应运而生。传统的网页过滤方式有基于URL名单的过滤方式、基于关键词的过滤方式和基于模式的过滤方式等,它们虽有着各自的优点,但也存在着各自的缺陷,针对这些,本论文提出了一种基于实时网络流量数据的网页过滤方法,将整合了SVM和KNN分类算法的网页分类过程,结合URL名单过滤方式的特点对系统进行了架构设计。通过对实时的HTTP报文进行监听、捕获、重组得到用户请求得到的HTML页面,经过页面解析、文本分类等过程得到文本的分类预测信息,根据设置的阻断策略和捕获的相关信息构造RST报文,实现对连接的阻断,同时将处理分类信息进行缓存,当系统再次捕获相同页面的URL时,可以立刻做出反应。本论文主要完成了以下工作：一、针对系统设计实现中的关键技术进行了综述,对实时页面捕...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：67 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 课题研究背景
1.2 研究内容
1.3 研究现状
1.4 本文工作和文章结构
第二章 网页过滤系统关键技术的研究
2.1 实时页面捕获
2.1.1 数据的监听和捕获
2.1.2 数据的重组
2.1.3 数据的解压缩
2.2 页面解析
2.2.1 主要技术的方法比较
2.2.2 页面解析方法的研究
2.2.3 页面解析的策略
2.3 文本分类
2.3.1 预处理
2.3.2 特征选择
2.3.3 分类
2.4 数据流量阻断
2.5 本章小结
第三章 网页过滤系统的分析与设计
3.1 需求分析
3.1.1 需求理解
3.1.2 系统主要功能
3.2 总体设计
3.2.1 系统规划
3.2.2 系统功能架构
3.3 主要功能模块设计
3.3.1 页面数据获取模块
3.3.2 页面解析模块
3.3.3 页面分类模块
3.3.4 旁路阻断模块
3.3.5 URL分类信息存储查询模块
3.4 本章小结
第四章 网页过滤系统的实现
4.1 实时页面捕获模块
4.2 页面解析模块
4.3 文本分类模块
4.4 旁路阻断模块
4.5 URL分类信息存储查询模块
4.6 本章小结
第五章 系统的测试与优化分析
5.1 系统测试
5.1.1 单元测试
5.1.2 系统集成测试
5.2 系统优化改进
5.3 本章小结
第六章 总结和展望
6.1 总结
6.2 展望
参考文献
致谢
【参考文献】：
期刊论文
[1]结合SVM和KNN的Web日志挖掘技术研究方法[J]. 曾俊. 计算机应用研究. 2012(05)
[2]三种中文文本自动分类算法的比较和研究[J]. 陈琳,王箭. 计算机与现代化. 2012(02)
[3]基于SVM-KNN的文本分类算法及其分析[J]. 匡春临,夏清强. 计算机时代. 2010(08)
[4]一种高效的TCP会话数据流重组算法及应用[J]. 赵启升,李存华. 微电子学与计算机. 2010(07)
[5]SVM-KNN分类算法研究[J]. 赵玲,陈磊琛,余小陆,张盛意. 计算机与数字工程. 2010(06)
[6]一种新的基于SVM-KNN的Web文本分类算法[J]. 曹建芳,王鸿斌. 计算机与数字工程. 2010(04)
[7]内网安全产品中的旁路阻断技术分析[J]. 贾大智. 计算机安全. 2009(11)
[8]支持向量机及其应用研究[J]. 范秋凤,陈彦涛. 科技信息. 2009(29)
[9]SVM-KNN分类器在网页分类中的应用[J]. 李蓉,孙媛. 科学技术与工程. 2009(16)
[10]基于SVM的分类方法综述[J]. 张小艳,李强. 科技信息. 2008(28)
硕士论文
[1]基于Netfilter的内容过滤系统的设计与实现[D]. 袁方方.北京邮电大学 2012
[2]基于DOM的HTML网页正文信息抽取模块的设计与实现[D]. 苏小鲁.北京邮电大学 2011
[3]局域网网络流量捕获方法的研究[D]. 李慧萍.长春工业大学 2011
[4]嵌入式浏览器网页解析器的研究与实现[D]. 吴锐强.电子科技大学 2011
[5]基于向量空间模型的网页过滤研究[D]. 李中原.北京化工大学 2010
[6]基于内容过滤的企业建站审核系统[D]. 翟艳娣.北京邮电大学 2010
[7]领域本体在网页内容过滤中的应用研究[D]. 吕祥惠.山东师范大学 2009
[8]网页信息过滤系统的研究与设计[D]. 刘辉.苏州大学 2009
[9]中文分词关键技术研究[D]. 曹卫峰.南京理工大学 2009
[10]基于旁路阻断技术的互联网内容控制系统设计[D]. 马勤.复旦大学 2008
本文编号：3531825
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：67 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 课题研究背景
1.2 研究内容
1.3 研究现状
1.4 本文工作和文章结构
第二章 网页过滤系统关键技术的研究
2.1 实时页面捕获
2.1.1 数据的监听和捕获
2.1.2 数据的重组
2.1.3 数据的解压缩
2.2 页面解析
2.2.1 主要技术的方法比较
2.2.2 页面解析方法的研究
2.2.3 页面解析的策略
2.3 文本分类
2.3.1 预处理
2.3.2 特征选择
2.3.3 分类
2.4 数据流量阻断
2.5 本章小结
第三章 网页过滤系统的分析与设计
3.1 需求分析
3.1.1 需求理解
3.1.2 系统主要功能
3.2 总体设计
3.2.1 系统规划
3.2.2 系统功能架构
3.3 主要功能模块设计
3.3.1 页面数据获取模块
3.3.2 页面解析模块
3.3.3 页面分类模块
3.3.4 旁路阻断模块
3.3.5 URL分类信息存储查询模块
3.4 本章小结
第四章 网页过滤系统的实现
4.1 实时页面捕获模块
4.2 页面解析模块
4.3 文本分类模块
4.4 旁路阻断模块
4.5 URL分类信息存储查询模块
4.6 本章小结
第五章 系统的测试与优化分析
5.1 系统测试
5.1.1 单元测试
5.1.2 系统集成测试
5.2 系统优化改进
5.3 本章小结
第六章 总结和展望
6.1 总结
6.2 展望
参考文献
致谢
【参考文献】：
期刊论文
[1]结合SVM和KNN的Web日志挖掘技术研究方法[J]. 曾俊. 计算机应用研究. 2012(05)
[2]三种中文文本自动分类算法的比较和研究[J]. 陈琳,王箭. 计算机与现代化. 2012(02)
[3]基于SVM-KNN的文本分类算法及其分析[J]. 匡春临,夏清强. 计算机时代. 2010(08)
[4]一种高效的TCP会话数据流重组算法及应用[J]. 赵启升,李存华. 微电子学与计算机. 2010(07)
[5]SVM-KNN分类算法研究[J]. 赵玲,陈磊琛,余小陆,张盛意. 计算机与数字工程. 2010(06)
[6]一种新的基于SVM-KNN的Web文本分类算法[J]. 曹建芳,王鸿斌. 计算机与数字工程. 2010(04)
[7]内网安全产品中的旁路阻断技术分析[J]. 贾大智. 计算机安全. 2009(11)
[8]支持向量机及其应用研究[J]. 范秋凤,陈彦涛. 科技信息. 2009(29)
[9]SVM-KNN分类器在网页分类中的应用[J]. 李蓉,孙媛. 科学技术与工程. 2009(16)
[10]基于SVM的分类方法综述[J]. 张小艳,李强. 科技信息. 2008(28)
硕士论文
[1]基于Netfilter的内容过滤系统的设计与实现[D]. 袁方方.北京邮电大学 2012
[2]基于DOM的HTML网页正文信息抽取模块的设计与实现[D]. 苏小鲁.北京邮电大学 2011
[3]局域网网络流量捕获方法的研究[D]. 李慧萍.长春工业大学 2011
[4]嵌入式浏览器网页解析器的研究与实现[D]. 吴锐强.电子科技大学 2011
[5]基于向量空间模型的网页过滤研究[D]. 李中原.北京化工大学 2010
[6]基于内容过滤的企业建站审核系统[D]. 翟艳娣.北京邮电大学 2010
[7]领域本体在网页内容过滤中的应用研究[D]. 吕祥惠.山东师范大学 2009
[8]网页信息过滤系统的研究与设计[D]. 刘辉.苏州大学 2009
[9]中文分词关键技术研究[D]. 曹卫峰.南京理工大学 2009
[10]基于旁路阻断技术的互联网内容控制系统设计[D]. 马勤.复旦大学 2008
本文编号：3531825
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3531825.html
