一种面向大规模URL过滤的多模式串匹配算法

发布时间：2017-12-25 01:21

  本文关键词：一种面向大规模URL过滤的多模式串匹配算法　出处：《计算机学报》2014年05期 　论文类型：期刊论文

  更多相关文章： 多模式串匹配 URL过滤 最优窗口选择 模式串分组规约 信息安全 网络安全

【摘要】：对大量有害的URL进行过滤,是目前网络安全应用系统中所亟需的关键技术.使用经典的串匹配算法检测庞大的URL规则集,需要消耗大量的计算资源和存储资源,性能十分低下.该文设计了一种适合于大规模URL过滤的多模式串匹配算法——SOGOPT.该算法在经典的SOG算法基础上,针对URL规则的特点,提出了最优窗口选择、模式串分组规约这两种优化技术,大幅度提高了SOG算法的匹配速度,在大规模URL规则集上效果尤其显著.该文设计的算法非常适合于大规模(100万级)URL实时在线匹配的应用环境.
【作者单位】： 中国科学院信息工程研究所;信息内容安全技术国家工程实验室;北京邮电大学计算机学院;国家计算机网络与信息安全管理中心;
【基金】：中国科学院战略性先导科技专项课题“媒体内容安全监管技术”(XDA06030602) 国家自然科学基金青年基金项目“复杂规则实时检测的模型和算法研究”(61202477)资助~~
【分类号】：TP391.1;TP393.08
【正文快照】： 1引言所谓多模式串匹配(后文简称串匹配)是指:给定字符串集合P={p(1),p(2),…,p(r)},其中p(i)=p(i)1 p(i)2…p(i)mi是字符集Σ上的字符串,对于任意的输入文本串T=t1t2…tn,找出P中的字符串在T中的所有出现位置.称P为模式串集合,称p(i)为模式串,称T为文本.串匹配技术在网络信息

【参考文献】

相关期刊论文 前7条

1 王永成,沈州,许一震;改进的多模式匹配算法[J];计算机研究与发展;2002年01期

2 宋华,戴一奇;一种用于内容过滤和检测的快速多关键词识别算法[J];计算机研究与发展;2004年06期

3 范洪博;姚念民;;一种高速精确单模式串匹配算法[J];计算机研究与发展;2009年08期

4 刘燕兵;刘萍;谭建龙;郭莉;;基于存储优化的多模式串匹配算法[J];计算机研究与发展;2009年10期

5 李晓明,凤旺森;两种对URL的散列效果很好的函数[J];软件学报;2004年02期

6 贺龙涛,方滨兴,余翔湛;一种时间复杂度最优的精确串匹配算法[J];软件学报;2005年05期

7 李伟男;鄂跃鹏;葛敬国;钱华林;;多模式匹配算法及硬件实现[J];软件学报;2006年12期

【共引文献】

相关期刊论文 前10条

1 叶煜;;适合中文的双向比较模式匹配算法[J];成都大学学报(自然科学版);2011年03期

2 张阳;张海;;一种系统测试中的快速多协议匹配算法[J];电光与控制;2010年07期

3 万国根;秦志光;;改进的AC-BM字符串匹配算法[J];电子科技大学学报;2006年04期

4 姚振军;黄德根;纪翔宇;;正则表达式在汉英对照中国文化术语抽取中应用[J];大连理工大学学报;2010年02期

5 申晋祥;杨秋翔;;模式匹配算法的研究与改进[J];电脑开发与应用;2007年07期

6 朱姣姣;叶猛;;多模式匹配及其改进算法在协议识别中的应用[J];电视技术;2012年07期

7 张智江;王志军;张尼;;一种可应用于大流量环境的双层散列算法研究[J];电信科学;2011年S1期

8 何淑庆;李村合;张培颖;;URL分级散列在分布式搜索引擎中的应用[J];电子技术应用;2006年07期

9 刘威;郭渊博;黄鹏;;基于Bloom filter的多模式匹配引擎[J];电子学报;2010年05期

10 ;A Parallel String Searching Algorithm for Information Filtering[J];Engineering Sciences;2007年03期

相关会议论文 前10条

1 杜云峰;许娜;孙爽;许立永;董彦荣;;一种基于排除的串匹配算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

2 韦兴军;卢泽新;;基于TCAM的入侵检测系统硬件加速技术[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（上册）[C];2008年

3 张光斌;谢维盛;吴鸿伟;;基于CUDA的多模式匹配技术[A];第26次全国计算机安全学术交流会论文集[C];2011年

4 王成江;冉兵;戴迪;吴磊;;基于滑动窗口的动态手写签名局部相关性研究[A];湖北省机械工程学会青年分会2006年年会暨第2届机械学院院长（系主任）会议论文集（下）[C];2006年

5 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年

6 张莹莹;段翔;周彬;王晓云;;移动通信网络中的内容安全[A];2007年中国通信学会“移动增值业务与应用”学术年会论文集[C];2007年

7 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

8 刘萍;刘燕兵;谭建龙;郭莉;;对多模式串匹配算法性能评测方法的探讨[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

9 贺龙涛;隋杰;;网络内容检测中的串匹配算法实现研究[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

10 张智江;王志军;张尼;;一种可应用于大流量环境下的双层散列算法研究[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年

相关博士学位论文 前10条

1 眭新光;文本信息隐藏及分析技术研究[D];解放军信息工程大学;2007年

2 张树壮;面向网络安全的高性能特征匹配技术研究[D];哈尔滨工业大学;2011年

3 王兰成;基于XMARC信息描述的知识标引与概念检索研究[D];东华大学;2004年

4 代六玲;互联网内容监管系统关键技术的研究[D];南京理工大学;2005年

5 刘培顺;判决PN机理论及其在入侵检测中的应用[D];西南交通大学;2005年

6 陈伟;通信网内容安全集成系统研究[D];北京邮电大学;2006年

7 金舒;入侵检测系统性能提高新技术研究[D];南京理工大学;2006年

8 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

9 谭建龙;串匹配算法及其在网络内容分析中的应用[D];中国科学院研究生院（计算技术研究所）;2003年

10 王文奇;入侵检测与安全防御协同控制研究[D];西北工业大学;2006年

相关硕士学位论文 前10条

1 史文财;省级政务网安全检测系统的设计与实现[D];哈尔滨工程大学;2010年

2 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年

3 张晓光;基于模式匹配的入侵检测系统应用研究[D];大连海事大学;2010年

4 李哲;工行产品创新采编系统研究与实现[D];长春工业大学;2010年

5 黄飞;嵌入式Linux逆向解析技术研究[D];解放军信息工程大学;2010年

6 陈余超;安全日志审计系统及其快速匹配机制的研究与实现[D];浙江工商大学;2011年

7 于强;高效存储的深度包检测算法[D];西安电子科技大学;2009年

8 段海生;基于正则表达式的深度包压缩算法研究[D];西安电子科技大学;2010年

9 郭海燕;搜索引擎中网络爬虫技术研究[D];西安电子科技大学;2009年

10 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

【二级参考文献】

相关期刊论文 前3条

1 王永成,沈州,许一震;改进的多模式匹配算法[J];计算机研究与发展;2002年01期

2 贺龙涛,方滨兴,余翔湛;一种时间复杂度最优的精确串匹配算法[J];软件学报;2005年05期

3 王永成,陈桂林,韩客松;一种快速单模式准确匹配算法[J];上海交通大学学报;2001年02期

【相似文献】

相关期刊论文 前10条

1 刘萍;刘燕兵;郭莉;方滨兴;;串匹配算法中模式串与文本之间关系的研究[J];软件学报;2010年07期

2 张国庆;筛选查找法[J];计算机应用与软件;1999年01期

3 何慧敏;刘燕兵;谭建龙;郭莉;;一种基于子串识别的多模式串匹配算法[J];计算机应用与软件;2011年11期

4 刘燕兵;刘萍;谭建龙;郭莉;;基于存储优化的多模式串匹配算法[J];计算机研究与发展;2009年10期

5 乐硌;杨智应;;基于模式串的快速标签识别算法[J];计算机工程;2008年16期

6 郑金彬;;一种改进的朴素模式串匹配算法[J];福建电脑;2007年07期

7 马伟华;刘玉梅;叶飞;杨旭东;;一种改进的Wu-Manber多模式串匹配算法[J];应用科技;2007年10期

8 李雄伟;王希武;王盼卿;;基于模式串匹配的Ethernet协议识别算法研究[J];计算机工程与应用;2007年29期

9 莫德敏;刘耀军;;Wu-Manber算法在大规模模式串下的改进[J];晋中学院学报;2008年03期

10 杨东红;徐恪;崔勇;;改进的Wu-Manber多模式串匹配算法[J];清华大学学报(自然科学版);2006年04期

相关会议论文 前2条

1 刘萍;刘燕兵;谭建龙;郭莉;;对多模式串匹配算法性能评测方法的探讨[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

2 张文波;蒋春华;姚天f ;;基于贝叶斯及多模式串模糊匹配算法的不良短消息甄别混合模型[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

相关硕士学位论文 前1条

1 张兴彪;海量多模式串匹配算法关键技术研究[D];哈尔滨工程大学;2013年

，

本文编号：1330775