维吾尔文网页正文抽取系统的研究与实现

发布时间：2019-10-24 04:55

【摘要】：从构建大规模维吾尔文语料库的角度出发,归纳总结各类网页正文抽取技术,提出一种基于文本句长特征的网页正文抽取方法。该方法定义一系列过滤和替换规则对网页源码进行预处理,根据文本句长特征来判断文本段是否为网页正文。整个处理过程不依赖DOM树型结构,克服了基于DOM树结构进行正文抽取方法的性能缺陷。实验结果表明,对于维文各类型的网页正文提取,该方法均具有较高的准确度度和较好通用性。
【图文】：

模块,网络连接图,网页,正文

２　维文网页正文抽取系统的研究与设计图１即为本文基于ｐｙｔｈｏｎ语言［１４］实现得维文网页正文抽取系统的整体架构图。整个文本抽取系统的具体实现分为５个模块：网络连接管理模块、维文编码处理模块、网页预处理模块、文本提取模块和后期处理模块。

模块,网页,源代码,源码

图２　一个维文网页和相应解码后的网页源代码ｎｉｃｏｄｅ编码不在标准维文编码范围，而是在Ｕｎｉｃｏｄｅ编展区中。因此本文在采用网页正文提取算法之前，对范的维文编码进行了标准化处理。相应的编码转化规表１所示。表１　维文编码转换字符扩展编码标准编码０ｘＦＥ８Ｄ　０ｘＦＥ８Ｅ０ｘ０６２７０ｘＦＥＥ９　０ｘＦＥＥＡ　０ｘ０６Ｄ５０ｘＦＥ８Ｆ　０ｘＦＥ９０　０ｘＦＥ９１　０ｘＦＥ９２　０ｘ０６２８… … …在网页源码经标准化处理之后，我们将网页解码代码给网页预处理模块。　网页预处理模块在网页预处理阶段中，我们首先分析研究网页源码的ＭＬ标签结构和属性，而后通过制定过滤规则尽可能地规则４：用自定义标签＜ｔａｇ＞＜／ｔａｇ＞替换段落如：＜ｂｏｄｙ＞＜／ｂｏｄｙ＞、＜ｄｉｖ＞＜／ｄｉｖ＞、＜ｔａｂｌｅｔａｂｌｅ＞等；规则５：简化链接标签＜ａ　ｈｒｅｆ＝…＞为＜ａ＞；经过以上规则处理后的源码相对预处理前的源码大幅减少，文本内容只包含＜ｔａｇ＞和＜ａ＞标签，结化明了，方便了后面的文本段的提取。２．４　正文抽取模块正文模块抽取经过预处理后的网页文本内容中的各段，并存放到一个线性字符串数组中。由于多数网页存签嵌套性，如：＜ｔａｇ＞…＜ｔａｇ＞…＜／ｔａｇ＞…＜／ｔａｇ＞以不能只是简单地抽取标签＜ｔａｇ＞和＜／ｔａｇ＞内的内容须对文本标签做线性化处理［１５］。本文中，我们对文本中除首尾＜ｔａｇ＞和＜／ｔａｇ＞外的其它标签做如下处理：在＜ｔａｇ＞标签前插入＜／标签，，在＜／ｔａｇ＞标签后插?
【作者单位】：中国科学院新疆理化技术研究所;中国科学院研究生院;新疆维吾尔自治区经济和信息化委员会;
【基金】：中国科学院“西部行动计划高新技术基金项目”(KGCX2-YW-507)
【分类号】：H215;TP391.1

【参考文献】

相关期刊论文前10条

1 张成洪,肖军建,张诚;Web内容抽取及其数据管理方法[J];复旦学报(自然科学版);2001年02期

2 杨敬伟;杨文柱;高悦;;基于DOM的Web信息抽取规则的构造与实现[J];河北大学学报(自然科学版);2007年02期

3 张霞亮;陈家骏;;基于逻辑行和最大接纳距离的网页正文抽取[J];计算机工程与应用;2009年25期

4 王利;刘宗田;王燕华;廖涛;;基于内容相似度的网页正文提取[J];计算机工程;2010年06期

5 王敬普;林亚平;周顺先;岳文;;基于包装器模型的文本信息抽取[J];计算机应用;2006年03期

6 王磊;蒋建中;郭军利;;基于扩展DOM树的Web页面信息抽取[J];计算机应用与软件;2007年06期

7 梅雪;程学旗;郭岩;张刚;丁国栋;;一种全自动生成网页信息抽取Wrapper的方法[J];中文信息学报;2008年01期

8 周佳颖;朱珍民;高晓芳;;基于统计与正文特征的中文网页正文抽取研究[J];中文信息学报;2009年05期

9 李培峰;朱巧明;钱培德;;基于Web的大规模语料库构建方法[J];计算机工程;2008年07期

10 张裕钦;李振坤;吴永杰;;基于规则模型的网页主题文本提取方法[J];计算机工程与设计;2009年20期

【共引文献】

相关期刊论文前10条

1 袁鸿雁;;基于本体的HTML表格识别技术的研究[J];长春工程学院学报(自然科学版);2010年01期

2 蒋邵衡;;WEB信息的抽取与集成研究[J];电脑知识与技术;2009年30期

3 付保红;李玉春;;油田测井曲线数据管理系统需求性分析[J];大庆师范学院学报;2011年03期

4 游贵荣;陆玉昌;;基于统计和机器学习的中文Web网页正文内容抽取[J];福建商业高等专科学校学报;2009年02期

5 夏天;;基于扩展标记树的网页正文抽取[J];广西师范大学学报(自然科学版);2011年01期

6 刘晓星;胡畅霞;;WEB中文本信息检索的关键技术研究[J];硅谷;2011年16期

7 杨波;张立娜;;基于C#正则表达式的农业文献管理系统的研究与应用[J];安徽农业科学;2012年05期

8 张敏;;基于确定性树自动机技术的信息抽取研究[J];才智;2011年36期

9 宋健豪;赵刚;;基于启发式规则优化的网页元素提取方法[J];信息安全与技术;2012年06期

10 刘丰;韩辉;周蕾;齐峻瑶;徐宝梁;;网络信息技术在传染病舆情监测中的应用[J];中国国境卫生检疫杂志;2012年04期

相关期刊论文前10条

1 贺令亚;柳佳刚;;基于Web的包装器技术的现状与发展[J];电脑开发与应用;2007年06期

2 杨敬伟;杨文柱;高悦;;基于DOM的Web信息抽取规则的构造与实现[J];河北大学学报(自然科学版);2007年02期

3 王琦,唐世渭,杨冬青,王腾蛟;基于DOM的网页主题信息自动提取[J];计算机研究与发展;2004年10期

4 张树瑜,朱仲英;基于MT决策树的Web信息抽取研究[J];计算机工程与应用;2004年13期

5 李蕾;王劲林;白鹤;胡晶晶;;基于FFT的网页正文提取算法研究与实现[J];计算机工程与应用;2007年30期

6 周源远,王继成,郑刚,张福炎;Web页面清洗技术的研究与实现[J];计算机工程;2002年09期

7 朱永盛;武港山;;基于Web的新闻信息抽取[J];计算机工程;2006年10期

8 黄健斌;姬红兵;孙鹤立;;Web网页中动态数据区域的识别与抽取[J];计算机工程;2007年11期

9 时达明;林鸿飞;杨志豪;;基于网页框架和规则的网页噪音去除方法[J];计算机工程;2007年19期

10 李效东,顾毓清;基于DOM的Web信息提取[J];计算机学报;2002年05期

【相似文献】

相关期刊论文前10条

1 杨行;;语料库工具与英语词汇教学之light Vs.heavy[J];科技信息;2011年16期

2 谷婧;;语料库在中学英语词汇教学中的应用[J];新教育;2011年08期

3 梁健丽;;“英语作为通用语”语料库介评(英文)[J];语文学刊(外语教育与教学);2011年08期

4 刘艺;;英语职业教育中语料库作用探讨[J];黑龙江科技信息;2011年21期

5 吴军莉;;二语习得与语料库英语教学[J];佳木斯教育学院学报;2011年04期

6 李安玲;张晓雁;;探究语料库在英语写作教学中的应用[J];校园英语(教研版);2011年06期

7 董娜;;语料库与翻译教学[J];语文学刊;2011年09期

8 米歇尔·保尔;海伦·夏普维拉;迪莱塔·迪·洛克;斯戴芬妮亚·格拉斯亚尼;徐洁;;CoDiSV:奥斯塔山谷地区学校儿童书面作业的数字语料库[J];中国儿童文化;2010年00期

9 张敏;李学宁;;西方主要英语语料库结构代表性分析[J];赤峰学院学报(汉文哲学社会科学版);2011年06期

10 范然;叶兴敏;张慧艳;;基于语料库的现代大学英语课程词汇改革初探[J];成功(教育);2011年08期