一种中文领域网页过滤方法

发布时间：2018-04-20 17:18

本文选题：网页过滤 + 网页屏蔽　；参考：《北京理工大学学报》2014年05期

【摘要】：鉴于互联网上各种不良网页的影响,提出了一种使用贝叶斯分类算法和领域本体过滤中文网页的方法.该方法根据正反例领域网页计算领域特征词的权重,建立领域特征词库并制作领域本体,根据正例领域网页得到本体元素权重库;使用贝叶斯分类算法得到候选网页;根据领域本体对候选网页进行语义相关度计算并进行网页过滤.该方法可以区分相同领域网页中的正反例网页并可兼顾网页过滤的实时性.通过游戏领域网页的测试,准确率和召回率均在98%以上,语义分析游戏相关网页的平均时间为1~2s,对用户浏览网页速度的影响较小,效果令人满意.
[Abstract]:In view of the influence of various bad web pages on the Internet, a method of filtering Chinese web pages using Bayesian classification algorithm and domain ontology is proposed. This method calculates the weight of domain feature words according to positive and negative domain web pages, establishes domain feature lexicon and makes domain ontology, obtains ontology element weight database according to positive domain web pages, and obtains candidate web pages by Bayesian classification algorithm. According to domain ontology, the semantic relevance of candidate pages is calculated and the web pages are filtered. This method can distinguish the positive and negative web pages in the same domain and can take into account the real time of web page filtering. The test results show that the accuracy rate and recall rate are above 98%. The average time of semantic analysis of game related pages is 1 / 2 s, which has little effect on the speed of browsing web pages, and the results are satisfactory.
【作者单位】：首都师范大学信息工程学院;
【基金】：国家自然科学基金资助项目(61371194)
【分类号】：TP391.1;TP393.092

【参考文献】

相关期刊论文前10条

1 许云,樊孝忠,张锋;一种不需分词的中文文本分类方法[J];北京理工大学学报;2005年09期

2 邓擘;樊孝忠;杨立公;;基于统计分布与集合论的文本分类方法[J];北京理工大学学报;2006年07期

3 宋华,戴一奇;一种用于内容过滤和检测的快速多关键词识别算法[J];计算机研究与发展;2004年06期

4 晋耀红;基于语义的文本过滤系统的设计与实现[J];计算机工程与应用;2003年17期

5 李强;李建华;;基于向量空间模型的过滤不良文本方法[J];计算机工程;2006年10期

6 李振星,陆大珏,任继成,唐卫清,唐荣锡;基于潜在语义索引的Web信息预测采集过滤方法[J];计算机辅助设计与图形学学报;2004年01期

7 樊兴华;孙茂松;;一种高性能的两类中文文本分类方法[J];计算机学报;2006年01期

8 袁兴宇;王挺;周会平;肖君;;以本体构造中文信息过滤中的需求模型[J];中文信息学报;2006年03期

9 孙艳;周学广;;基于粗糙集与贝叶斯决策的不良网页过滤研究[J];中文信息学报;2012年01期

10 曾春,邢春晓,周立柱;基于内容过滤的个性化搜索算法[J];软件学报;2003年05期

【共引文献】

相关期刊论文前10条

1 汪洁;朱军;;基于Linux的中文垃圾邮件过滤系统设计与实现[J];安徽农业大学学报;2011年02期

2 姚克娟,李晋宏;应用Agent技术实现个性化信息服务[J];北方工业大学学报;2004年03期

3 李伟;黄颖;;基于HtmlParser的网页信息提取[J];兵工自动化;2007年07期

4 李文斌;刘椿年;钟宁;;基于两阶段集成学习的分类器集成[J];北京工业大学学报;2010年03期

5 李爱明;张帆;;一种基于向量空间模型的信息过滤系统用户建模研究[J];图书与情报;2007年04期

6 赵军;胡栓柱;樊兴华;;一种新的词语相似度计算方法[J];重庆邮电大学学报(自然科学版);2009年04期

7 曾立梅;;基于文本数据挖掘的硕士论文分类技术[J];重庆邮电大学学报(自然科学版);2010年05期

8 杨凤霞;;基于特征选择的垃圾短信过滤研究[J];沧州师范专科学校学报;2011年03期

9 孙铁利;赵隽;杨凤芹;吴迪;;一种基于相对特征的文本分类算法[J];东北师大学报(自然科学版);2010年01期

10 王冬青;;远程教育个性化学习支持服务研究[J];中国远程教育;2008年08期

相关期刊论文前10条

1 王洪伟,吴家春,蒋馥;基于描述逻辑的本体模型研究[J];系统工程;2003年03期

2 陈晓明,王虹,张仰森;“知网”的知识扩展和推理研究[J];贵州大学学报(自然科学版);2001年02期

3 张卫丰,徐宝文;Web搜索引擎框架研究[J];计算机研究与发展;2000年03期

4 林鸿飞,李业丽,姚天顺;中文文本过滤的信息分流机制[J];计算机研究与发展;2000年04期

5 王永成,沈州,许一震;改进的多模式匹配算法[J];计算机研究与发展;2002年01期

6 晋耀红;基于语义的文本过滤系统的设计与实现[J];计算机工程与应用;2003年17期

7 朱华宇,孙正兴,张福炎;一个基于向量空间模型的中文文本自动分类系统[J];计算机工程;2001年02期

8 冯是聪,张志刚,李晓明;一种中文网页自动分类方法的实现及应用[J];计算机工程;2004年05期

9 胡吉祥;许洪波;刘悦;程学旗;;重复串特征提取算法及其在文本聚类中的应用[J];计算机工程;2007年02期

10 庞剑锋,卜东波,白硕;基于向量空间模型的文本自动分类系统的研究与实现[J];计算机应用研究;2001年09期

相关期刊论文前10条

1 李景,苏晓鹭,钱平;构建领域本体的方法[J];计算机与农业;2003年07期

2 陈坚;何洁月;;RDF可信度扩展在领域本体构建中的应用[J];计算机技术与发展;2006年01期

3 肖敏;;领域本体的构建方法研究[J];情报杂志;2006年02期

4 李衍淼;霍常青;;本体论在企业信息检索中的应用[J];福建电脑;2006年08期

5 杨建学;杨贯中;杨俊柯;;领域本体在学习资源管理系统中的应用[J];科学技术与工程;2006年17期

6 张哲;;基于领域本体的XML模式元素的相似性[J];微电子学与计算机;2007年04期

7 刘燕玲;华庆一;郭晓娟;;基于领域本体面向问题的需求分析与领域建模[J];计算机技术与发展;2007年08期

8 牟冬梅;范轶;;数字图书馆领域本体的构建与推理——以医学领域本体为例[J];图书情报工作;2007年08期

9 李曙光;王俊彪;蒋建军;王百灵;;基于本体理论的企业信息分类编码方法研究[J];计算机应用研究;2007年12期

10 唐晓波;韦贞;徐蕾;;基于本体的信息系统建模方法[J];情报科学;2008年03期