一种分布式前沿科技信息跟踪系统的设计与实现
发布时间：2020-08-20 14:41
【摘要】：近年来,我国持续推进制造业转型,需要及时跟进一系列重点科技领域的新进展,但在科技情报收集方面仍存在信息化程度不足等情况。本文分析了传统的科技信息采集和管理方式,发现了传统的数据采集效率在信息时效性方面存在滞后问题,传统的人工和单机结合的数据存储管理方式存在管理繁琐、数据易丢失等问题。本文提出基于ElasticSearch集群的分布式的前沿科技信息跟踪系统,实现分布式的科技文档查询及统计跟踪功能,为与科技相关决策的提出提供了支持。本文主要工作如下:一、分析了分布式的前沿科技信息跟踪系统的各项基本功能。针对传统的人工数据采集方式难以及时采集科技信息,以及传统的单机存储模式无法便利可靠的管理数据等问题,研究了定向爬虫技术对网页更新的定期检查和自动采集,以及分布式存储技术对文档的存储与管理。二、设计了分布式的前沿科技信息跟踪系统各功能模块的处理流程。设计了系统的各个子系统及其包含的主要功能模块,设计了子系统间数据交互方式,提出了科技信息数据从采集、中间数据存储到结构化加入索引、信息统计跟踪的整体流程。三、实现了分布式的前沿科技信息跟踪系统的具体功能。系统实现科技信息采集、数据分布式存储、数据查询拓展、科技信息跟踪等一系列功能。利用ElasticSearch实现了分布式的文档存储和检索跟踪平台。通过此沿科技信息跟踪系统,实现了科技信息的自动化采集,并对文档内容重要程度进行评分,跟踪了相应领域的变化,对及时有效跟踪科技领域的重点信息具有一定的意义。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：
点和新内容后便利的获取相关内容。逡逑２．１．３科技前沿信息处理流程逡逑科技前沿信息的整体处理流程如图２－１所示。逡逑ｆ后续颁」逡逑Ｃ＿邋Ｉｎｔｅｒｎｅｔ邋Ｊ逡逑ｆ使用者逡逑%藉邋五义隙ㄏ蚺莱娌杉叽娲⑺鞴保词荽碚瓜皱义贤迹玻笨萍记把匦畔⒋砹鞒体义希瑰义
本文编号：2798096
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：
点和新内容后便利的获取相关内容。逡逑２．１．３科技前沿信息处理流程逡逑科技前沿信息的整体处理流程如图２－１所示。逡逑ｆ后续颁」逡逑Ｃ＿邋Ｉｎｔｅｒｎｅｔ邋Ｊ逡逑ｆ使用者逡逑%藉邋五义隙ㄏ蚺莱娌杉叽娲⑺鞴保词荽碚瓜皱义贤迹玻笨萍记把匦畔⒋砹鞒体义希瑰义
本文编号：2798096
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2798096.html
