英文语料库垂直搜索引擎的研究与实现

发布时间：2020-09-04 08:01

　　 随着英文学习者的数量急剧增加,对能够辅助英文学习的工具的研究显得日趋重要。然而英汉两种语言的思维差异造成了中国学习者在英文学习中会碰到很多问题,而且这些问题的类型与母语学习者碰到的有很大的不同,例如：介词误用、不定冠词(a与an)误用等。语料库搜索系统能够快速获得某种语言现象使用的基础数据,如相关词语搭配、相关例句、统计频度信息等,通过查询能够有效解决上述学习者碰到的问题,而这是通用的搜索引擎不具备的,因此英文语料库搜索具有重要的研究意义和实用价值。本文的主要工作和贡献描述如下：1.借助单词分布式向量表示的优势,本文提出了一种基于词性的词向量表示的相似度计算方法,区分单词的词性并使用不同的向量表示。该方法与MC数据集的相关系数达到了0.847(向量维度1600),在词向量的不同维度上相关系数均高于不区分词性的单一向量表示方法。同时在相似词识别任务上,该方法在动词上的准确率要明显高于单一向量表示方法。2.本文提出了一种融合多特征的词语相似度计算方法,利用WordNet和语料库统计的相关特征,通过使用有监督的学习方法有效的融合多种特征预测单词间的相似度。该方法与MC数据集的相关系数达到了0.872,高于本文选取的两种对比方法：基于知识库的方法和基于语料库统计的方法。同时与Moby thesaurus数据集的Top-k平均准确率实验结果也证实了该方法的有效性。3.本文提出了一种英文语料库搜索框架,主要包含例句检索、N-Gram检索和相似词检索,并根据该框架构建了一个英文语料库垂直搜索引擎。与传统的语料库搜索系统比较,本系统加入了数据更新的过程,通过从互联网中周期性地抓取相关网页并及时动态的更新语料数据；同时在搜索功能上具有区分单词不同词性的例句检索、能够限制单词词性及命名实体等属性的N-Gram检索和基于语义的相似词检索。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2015
【中图分类】：TP391.3

【相似文献】

相关期刊论文 前10条

1 杨坚争;李朝平;;垂直搜索引擎及其应用[J];电子商务;2006年10期

2 罗丽姗;;垂直搜索引擎发展概述[J];图书馆学研究;2006年12期

3 严宏伟;何俊;;基于房源分析系统的垂直搜索引擎关键技术的探讨[J];中国科技信息;2007年05期

4 胡华梁;何进;钟元生;;图书垂直搜索引擎的设计[J];计算机与现代化;2007年08期

5 郑凯明;李义杰;;垂直搜索引擎及其应用价值[J];信息技术;2008年04期

6 毕建涛;霍云福;;垂直搜索引擎赢利模式探讨[J];大连大学学报;2008年03期

7 许鑫;黄仲清;;垂直搜索引擎应用中的若干策略探讨——以12580餐饮垂直搜索为例[J];现代图书情报技术;2009年02期

8 孔祥春;李义杰;郑凯明;;垂直搜索引擎应用研究[J];计算机系统应用;2009年07期

9 杨皖苏;闫冬;;垂直搜索引擎发展策略探讨[J];商业时代;2009年23期

10 肖婷;;垂直搜索引擎与旅游行业探讨[J];农业网络信息;2009年11期

相关会议论文 前4条

1 褚蓓蓓;刘丹;;垂直搜索引擎:搜索引擎发展方向[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

4 毛华扬;刘卫;;会计信息搜索方法研究[A];第十届全国会计信息化年会论文集[C];2011年

相关重要报纸文章 前10条

1 北大纵横管理顾问公司高级顾问戴晓东;“商搜”变法 垂直搜索引擎的春天还远吗？[N];中国经营报;2006年

2 王艳;垂直搜索引擎市场看好[N];中国旅游报;2000年

3 王靖;赛迪网推出垂直搜索引擎[N];人民日报海外版;2000年

4 杨国民;国内生物医药行业 垂直搜索引擎诞生[N];经济日报;2007年

5 本报记者 王晓雁;垂直搜索引擎著作权之争未破题[N];法制日报;2009年

6 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年

7 中新;生意宝推“生意搜”搅局电子商务搜索市场[N];经理日报;2008年

8 源讯 编译;搜索巨头的下一步[N];计算机世界;2006年

9 赛迪网 方刚;不只是网站才垂直[N];中国计算机报;2000年

10 ;沱沱网“亮剑”国际消费电子博览会 专业服务带来B2B差异化变革[N];中国贸易报;2007年

相关博士学位论文 前5条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

4 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

5 王桂红;农产品市场价格web信息分析方法研究[D];沈阳农业大学;2013年

相关硕士学位论文 前10条

1 韩冰;垂直搜索引擎个性化推荐研究与应用[D];大连理工大学;2009年

2 关小敏;垂直搜索引擎的研究与实现[D];北京邮电大学;2012年

3 吴燕玮;基于行业知识垂直搜索引擎的研究与实现[D];北京邮电大学;2012年

4 柳力丽;旅游垂直搜索引擎的品牌传播研究[D];西南大学;2015年

5 钱永杰;面向网络文学的垂直搜索引擎的研究与实现[D];曲阜师范大学;2015年

6 袁凤云;垂直搜索引擎关键技术研究与实现[D];电子科技大学;2014年

7 任睿丽;面向旅游业的垂直搜索引擎的设计与实现[D];电子科技大学;2014年

8 张高伟;基于ElasticSearch的分布式视频垂直搜索引擎的设计与实现[D];哈尔滨工业大学;2014年

9 朱鹏;英文语料库垂直搜索引擎的研究与实现[D];北京邮电大学;2015年

10 李广丽;垂直搜索引擎的研究与设计[D];华东交通大学;2008年

本文编号：2812068