数字图书馆主题搜索引擎的设计与实现

发布时间：2018-08-12 12:11

【摘要】：提出构建数字图书馆主题搜索引擎的总体系统设计。利用一个预处理系统尽量选择高质量的种子站点,从而产生W eb主题定义数据;在系统控制器的协调下,各主题爬行器同步地采集爬行器所推荐的W eb资源,对下载的资源进行文本分类与主题识别;将已经下载的W eb资源按学科分类存储在W eb主题资源库中,通过全局信息库建立索引,接入通用接口进行依主题检索。依赖数字图书馆各方面特点,提出支持多线程主题爬行器的设计,并提出一种新颖的URL主题相关性剪切算法EPR,为实现数字图书馆主题搜索引擎原型提供重要的设计。基于开源Lucene平台进行系统扩展而形成最终系统,实验结果表明该工作是相当有效的,尤其是提出的相关性判别算法EPR,具有相当的创新性和实际应用价值。
[Abstract]:This paper puts forward the overall system design of constructing the subject search engine of digital library. A preprocessing system is used to select high quality seed sites to produce Web subject definition data. Under the coordination of system controller, each subject crawler synchronously collects Web resources recommended by crawlers. The downloaded resources are classified by text and recognized by topic, and the downloaded Web resources are stored in the subject database according to the subject classification, and the index is established through the global information base, and the general interface is accessed to retrieve the resources according to the subject. Based on the characteristics of digital library, the design of multi-thread theme crawler is proposed, and a novel algorithm of URL topic correlation shearing is proposed, which provides an important design for realizing the prototype of the subject search engine of digital library. The final system is formed by extending the system based on the open source Lucene platform. The experimental results show that this work is quite effective, especially the correlation discriminant algorithm, which has quite innovative and practical application value.
【作者单位】： 温州大学图书馆;华中科技大学软件学院;温州大学瓯江学院;
【基金】：温州大学校级科研基金资助项目(2007L029)
【分类号】：TP391.3

【参考文献】

相关期刊论文 前2条

1 程妮;科学搜索引擎Scirus研究[J];现代图书情报技术;2005年03期

2 侯震宇;基于Fish算法的实时搜索系统的实现[J];现代图书情报技术;2002年06期

【共引文献】

相关期刊论文 前10条

1 王艳辉,吴斌,王柏;电信社群网络静态几何性质分析研究[J];复杂系统与复杂性科学;2005年02期

2 邱均平,张洋;网络信息计量学综述[J];高校图书馆工作;2005年01期

3 王柏;吴巍;徐超群;吴斌;;复杂网络可视化研究综述[J];计算机科学;2007年04期

4 王凤霞,张景,常晓;电子教务门户研究与设计[J];计算机工程;2005年08期

5 高琰;谷士文;唐t;;基于链接分析的Web社区发现技术的研究[J];计算机应用研究;2006年07期

6 谭永钦,周兴苗;科技文献搜索引擎Scirus浅谈[J];科技情报开发与经济;2005年21期

7 李向伟;曹博;;时间参数在HITS算法中的应用及改进[J];兰州工业高等专科学校学报;2006年02期

8 蒋亚琳;;对三种学术搜索引擎的析评[J];情报探索;2007年01期

9 杨光;链接分析在企业竞争情报活动中的应用[J];图书情报工作;2005年01期

10 周倩;;共链分析方法的发展与应用研究[J];图书情报工作;2006年10期

相关博士学位论文 前10条

1 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院（文献情报中心）;2003年

2 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年

3 乐小虬;非结构化网络空间信息智能搜索与服务研究[D];中国科学院研究生院（遥感应用研究所）;2006年

4 贾自艳;Web信息智能获取若干关键问题研究[D];中国科学院研究生院（计算技术研究所）;2004年

5 田永鸿;基于上下文的统计关系学习研究[D];中国科学院研究生院（计算技术研究所）;2005年

6 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年

7 邓波;分布式序敏感查询处理关键技术研究[D];国防科学技术大学;2006年

8 杨传耀;中文信息检索索引模型及相关技术研究[D];复旦大学;2007年

9 高琰;基于多特征的Web社区发现关键技术研究[D];中南大学;2007年

10 宗校军;中文网页定题采集及分类研究[D];华中科技大学;2006年

相关硕士学位论文 前10条

1 田艳芳;数字图书馆中数据预处理子系统的设计与实现[D];国防科学技术大学;2001年

2 王凤霞;研究生电子教务信息门户研究与开发[D];西安理工大学;2004年

3 董志勇;Web信息检索中基于超链接的网页评估算法的研究[D];河海大学;2004年

4 刘翠娟;Web应用中静态测试的研究[D];西北大学;2004年

5 马征;基于本体的Web页面分类挖掘[D];中南大学;2004年

6 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年

7 赵艳芳;面向Internet的个性化信息服务的研究[D];云南师范大学;2005年

8 闫宏斌;研究生网络教学门户的研究与开发[D];大连理工大学;2006年

9 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年

10 吴相智;基于XML的Web数据抽取技术的研究[D];中南大学;2005年

【二级参考文献】

相关期刊论文 前2条

1 张捷,王娟萍;科学搜索引擎——SCIRUS的检索模式与评述[J];津图学刊;2003年04期

2 曹玉霞;搜索引擎新思维[J];现代图书情报技术;2000年05期

【相似文献】

相关期刊论文 前10条

1 李春茜,万坚军;数字图书馆及其信息组织与检索浅识[J];图书馆理论与实践;2001年01期

2 段梅,李小梅;浅谈数字图书馆[J];太原科技;2001年02期

3 宁淑华;数字图书馆与著作权保护[J];现代情报;2001年05期

4 刘志贤;论数字图书馆的合理使用[J];情报杂志;2002年09期

5 邱文杰;高校发展数字图书馆的对策浅谈[J];桂林航天工业高等专科学校学报;2002年04期

6 王鑫鑫;曹高辉;;XML及其在数字图书馆中的应用[J];图书情报论坛;2002年02期

7 张志美,董建成;数字图书馆服务模式初探[J];高校图书馆工作;2003年02期

8 ;联合光华推出《中文经典数字图书馆》[J];电脑采购周刊;2003年36期

9 邓少雯;网络环境下数字图书馆的安全与防范措施[J];图书馆论坛;2004年04期

10 王存祥,任晓华;高校数字图书馆安全解决方案[J];安康师专学报;2004年05期

相关会议论文 前10条

1 刘颖;;论数字图书馆的信息构建[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

2 郭启智;;关于数字图书馆有关问题的探讨[A];山西省科学技术情报学会学术年会论文集[C];2004年

3 符翠;;数字图书馆建设探讨[A];新环境下图书馆建设与发展——第六届中国社区和乡镇图书馆发展战略研讨会征文集（下册）[C];2007年

4 王爱华;张铭;陈捷;杨冬青;唐世渭;;基于形式本体的数字图书馆内容元数据的创建[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

5 高翔;;浅谈网站模式下的数字图书馆资源建设[A];华北地区高校图协第二十四届学术年会论文（文章）汇编[C];2010年

6 喻浩;潘薇;;数字图书馆支撑技术及其发展[A];数字图书馆资源建设与发展学术研讨会暨中国农学会农业图书馆分会理事工作会议会议资料[C];2007年

7 潘淑春;喻浩;;数字图书馆建设及其运行模式研究[A];数字图书馆资源建设与发展学术研讨会暨中国农学会农业图书馆分会理事工作会议会议资料[C];2007年

8 张小玲;;数字图书馆建设的一种新思路[A];北京交通大学图书馆——第四届研讨会论文集[C];2004年

9 杜小勇;袁媛;钱防震;高凤荣;马文峰;;数字图书馆个性化推荐系统DLPers的设计与实现[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

10 陈文革;;数字图书馆发展现状[A];福建省图书馆学会2001年年会论文集[C];2001年

相关重要报纸文章 前10条

1 本报记者 延宏;数字图书馆：服务如何个性化[N];科技日报;2008年

2 本报记者 洪黎明;数字出版与数字图书馆的互动[N];人民邮电;2008年

3 本报记者 诸葛漪;国内数字图书馆为何“起大早赶晚集”[N];解放日报;2009年

4 张宇;走在“云端”的数字图书馆[N];中国文化报;2010年

5 本报记者 姜天骄　文化部副部长 杨志今;让数字图书馆资源惠及更多基层群众[N];经济日报;2010年

6 本报记者 吴娜;让每个县都有数字图书馆[N];光明日报;2010年

7 记者 陈磊;我国数字图书馆侵权盗版现象普遍存在[N];科技日报;2010年

8 本报记者 任丽梅;数字图书馆奠定文化共享平台[N];中国改革报;2010年

9 记者 王晓敏;建设舟山海洋数字图书馆[N];舟山日报;2011年

10 耿俪洳;嘉兴数字图书馆——足不出户尽享便利服务[N];中国文化报;2011年

相关博士学位论文 前10条

1 于晓燕;基于网格的数字图书馆模式构建研究[D];南开大学;2010年

2 周丽霞;数字图书馆版权获取研究[D];吉林大学;2011年

3 孙坦;数字图书馆理论与发展模式研究[D];中国科学院文献情报中心;2000年

4 关欣;数字图书馆知识管理研究[D];吉林大学;2010年

5 许增福;DL环境下的信息资源管理及知识发现研究[D];哈尔滨工程大学;2005年

6 杜文华;本体的构建及其在数字图书馆中的应用研究[D];武汉大学;2005年

7 卓文飞;中国农业数字图书馆信息集成服务系统研究[D];中国农业科学院;2008年

8 韩毅;语义网格环境下数字图书馆知识组织策略与应用研究[D];吉林大学;2008年

9 牟冬梅;数字图书馆知识组织语义互联策略及其应用研究[D];吉林大学;2009年

10 刘炜;基于本体的数字图书馆语义互操作[D];复旦大学;2006年

相关硕士学位论文 前10条

1 罗宏;数字图书馆著作权风险规避研究[D];四川大学;2004年

2 罗龙艳;数字图书馆资源主题信息门户的设计与实现研究[D];四川大学;2004年

3 田艳芳;数字图书馆中数据预处理子系统的设计与实现[D];国防科学技术大学;2001年

4 戴洪霞;数字图书馆信息资源建设研究[D];东北师范大学;2002年

5 阚忠良;数字图书馆中基于结构和内容的文本信息检索技术的研究[D];黑龙江大学;2002年

6 贺玲玲;数字图书馆运行机制与管理模式研究[D];国防科学技术大学;2003年

7 曹树新;图书馆自动化管理信息系统[D];大连理工大学;2005年

8 辛霄恩;网络文献数字化方案[D];华东师范大学;2001年

9 丁会平;移动数字图书馆内容管理系统的设计与实现[D];南京理工大学;2004年

10 李冠楠;基于主题图的数字图书馆信息资源整合研究[D];华中师范大学;2011年

，

本文编号：2179018