基于海量冗余网页过滤的Web挖掘技术研究

发布时间：2018-07-13 14:49

【摘要】：智能教学系统通过搜索网页关键词获取教学资源时,由于存在许多具有相同关键词的垃圾网页的影响,使得教学资源较难从海量网页信息中快速挖掘出来,传统的关键词查找方法受垃圾网页的影响使得搜索量过大,造成智能教学资源获取的及时性不高。为此,提出Web信息抽取技术应用在智能教学资源挖掘中。根据教学资源获取要求批量获取相关Web网页,利用Xpath语言结合搜索请求和网页主题信息块特征对Web网页进行清洗,然后根据Web文本特征模型挖掘出教学所需的资源。仿真实验表明,这种方法能够有效克服垃圾网页地干扰,快速完成教学资源地挖掘,取得了满意的结果。
[Abstract]:When the intelligent teaching system acquires teaching resources by searching for web keywords, because of the influence of many garbage pages with the same keywords, it is difficult for teaching resources to be quickly excavated from the massive web pages. The traditional keyword search method is influenced by spam web pages, which makes the search amount too large, resulting in a lack of timeliness in the acquisition of intelligent teaching resources. Therefore, this paper puts forward the application of Web information extraction technology in intelligent teaching resource mining. According to the requirements of obtaining teaching resources, the relevant Web pages are obtained in batches, and the Web pages are cleaned by XPath language combined with search requests and the features of web pages' subject information blocks, and then the resources needed for teaching are mined according to the Web text feature model. The simulation results show that this method can effectively overcome the interference of garbage web pages and quickly complete the mining of teaching resources with satisfactory results.
【作者单位】： 北京联合大学师范学院;
【分类号】：TP393.092

【参考文献】

相关期刊论文 前3条

1 娄德成;姚天f ;;汉语句子语义极性分析和观点抽取方法的研究[J];计算机应用;2006年11期

2 史西兵;王浩鸣;;隐马尔可夫模型解决信息抽取问题的仿真研究[J];计算机仿真;2010年05期

3 蒋云霞;;基于层次分析法的工程管理专业方向选择分析[J];科技通报;2011年04期

【共引文献】

相关期刊论文 前10条

1 崔大志;刘影;李媛;;论网络社区评论情感语义的模糊化[J];大连海事大学学报(社会科学版);2010年03期

2 黄瑾娉;苏庭波;;一种产品评论信息的意见挖掘技术研究[J];工业控制计算机;2011年06期

3 许璐蕾;;网络评论中情感词的获取及极性判断方法比较[J];电脑与电信;2011年01期

4 谈国新;方一;;突发公共事件网络舆情监测指标体系研究[J];华中师范大学学报(人文社会科学版);2010年03期

5 伍星;何中市;黄永文;;产品评论挖掘研究综述[J];计算机工程与应用;2008年36期

6 李娟;张全;贾宁;;中文词语倾向性分析处理[J];计算机工程与应用;2009年02期

7 田生伟;禹龙;王宇光;;维吾尔语情感分类算法[J];计算机工程与应用;2011年36期

8 赵俊芹;杨丹;余淼;陈林;;评论信息抽取技术在网络贸易系统平台上的应用[J];计算机科学;2008年04期

9 李维杰;;情感分析与认知[J];计算机科学;2010年07期

10 李芳;何婷婷;宋乐;;评价主题挖掘及其倾向性识别[J];计算机科学;2012年06期

相关会议论文 前2条

1 郝博一;夏云庆;郑方;;OPINAX：一个有效的产品属性挖掘系统[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

2 王倩;何婷婷;闻彬;宋乐;张茂元;;基于依存关系的中文情感要素抽取技术研究[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

相关博士学位论文 前5条

1 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年

2 舒江波;面向中文信息处理的复句关系词自动标识研究[D];华中师范大学;2011年

3 胡燕;基于Web信息抽取的专业知识获取方法研究[D];武汉理工大学;2007年

4 黄永文;中文产品评论挖掘关键技术研究[D];重庆大学;2009年

5 杜伟夫;文本倾向性分析中的情感词典构建技术研究[D];哈尔滨工业大学;2010年

相关硕士学位论文 前10条

1 吕韶华;面向中文评论文本的情感倾向性研究[D];大连理工大学;2010年

2 邢鑫岩;基于序列模型的情感分析研究[D];大连理工大学;2010年

3 杨鼎;基于朴素贝叶斯的中文文本情感倾向分类研究[D];湖南工业大学;2010年

4 李海林;网络舆情热点信息发现及其倾向性研究[D];武汉理工大学;2010年

5 吴秀梅;基于潜在语义分析和最大熵的中文情感分析研究[D];北京交通大学;2011年

6 张瑞;基于在线评论的消费者品牌认知和信任模糊推理研究[D];大连理工大学;2011年

7 黄鑫;基于句法分析的产品评论挖掘研究[D];北京邮电大学;2011年

8 史丽君;基于特征强化的中文产品评价挖掘研究[D];合肥工业大学;2011年

9 苏庭波;产品评论的意见倾向分类技术研究[D];安徽工业大学;2011年

10 蒋磊;面向产品评论的意见挖掘关键技术研究[D];哈尔滨工业大学;2010年

【二级参考文献】

相关期刊论文 前4条

1 孙春玲,尹贻林,严玲;专业协会对工程管理学科人才培养的介入机制研究[J];高等工程教育研究;2005年05期

2 宋永发,袁永博,吴智敏;国内重点高等院校工程管理专业本科教学计划比较研究[J];高等建筑教育;2004年03期

3 莫生红;吕宏芬;李明伟;;层次分析法在市民购房决策中的应用[J];经济论坛;2007年19期

4 Thomas L.SAATY;DECISION MAKING - THE ANALYTIC HIERARCHY AND NETWORK PROCESSES (AHP/ANP)[J];Journal of Systems Science and Systems Engineering;2004年01期

【相似文献】

相关期刊论文 前10条

1 于薇;;包装器的自动生成方法介绍[J];才智;2009年28期

2 祝伟华;卢熠;刘斌斌;;基于HMM的Web信息抽取算法的研究与应用[J];计算机科学;2010年02期

3 王立建;尹四清;;基于Web页面有效信息抽取的分类方法[J];电脑开发与应用;2010年06期

4 钟艳花,余伟红,余永权;Web文本挖掘系统及其关键技术研究[J];计算机工程与应用;2003年34期

5 洪流;张巍;肖明军;蔡庆生;;一种改进的基于HMM的信息抽取模型[J];模式识别与人工智能;2004年03期

6 崔继馨,张鹏,杨文柱;基于DOM的Web信息抽取[J];河北农业大学学报;2005年03期

7 王胜,朱明;基于最大熵马尔可夫模型的地址信息抽取[J];计算机工程与应用;2005年21期

8 翟东升,余e，

本文编号：2119759