金融领域多通道信息监控系统设计与实现

发布时间：2022-07-10 13:59

　　近年来金融风险事件频发,造成的后果也愈加严重,及时获取风险信息意味着有更充足的时间采取应对措施。互联网作为当前金融信息传播的主要渠道,具有实时性高、覆盖内容广的特点,然而在信息爆炸的时代,已经无法单纯依靠人工来获取和处理信息,因此金融机构和从业人员迫切需要一种高效灵活的方法,对给定的多网络渠道的金融信息进行实时监控,从大量信息中及时获取相关风险信息,提前采取措施规避风险。本文针对当前金融信息获取效率低下的问题开展了研究,设计并实现了一个金融领域多通道信息监控系统。主要研究内容如下:（1）对金融领域多通道信息监控系统进行需求分析并设计系统架构,将系统分为多通道的信息采集子系统、金融风险事件抽取子系统、信息实时监控子系统三大部分;（2）设计多通道的信息采集子系统,本文基于Scrapy设计和实现分布式爬虫工具,通过定义配置文件和解析模版来定制爬虫,通过Celery分布式任务队列实现分布式抓取,通过基于Redis的哈希压缩去重方法和布隆过滤器去重方法,解决了分布式爬虫系统的URL去重问题,并设计依赖URL去重的增量抓取和断点续爬;（3）设计金融风险事件抽取子系统,本文设计和实现了基于触发词扩展... 

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

图２－１?ＨＴＭＬ页面Ｄ０Ｍ树结构??２．１．４?爬虫框架Ｓｃｒａｐｙ??

图２－２?Ｓｃｒａｐｙ架构??数据流由Ｓｃｒａｐｙ?ｅｎｇｉｎｅ?（执行引擎）控制，过程如下：??１）引擎找到爬虫对应Ｓｐｉｄｅｒ，从中获取待爬Ｒｅｑｕｅｓｔ送给调度器进行调度，??

图３－２多通道信息监控系统架构图??根据系统需求分析及系统设计目标，本论文设计系统的整体架构如图３－２所??

【参考文献】：
期刊论文
[1]神经网络事件抽取技术综述[J]. 秦彦霞,张民,郑德权.  智能计算机与应用. 2018(03)
[2]面向事件抽取的深度与主动联合学习方法[J]. 邱盈盈,洪宇,周文瑄,姚建民,朱巧明.  中文信息学报. 2018(06)
[3]基于深度信念网络的事件识别[J]. 张亚军,刘宗田,周文.  电子学报. 2017(06)
[4]基于语义的中文事件触发词抽取联合模型[J]. 李培峰,周国栋,朱巧明.  软件学报. 2016(02)
[5]Redis数据库特性分析[J]. 马豫星.  物联网技术. 2015(03)
[6]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香.  微型机与应用. 2013(12)
[7]基于Bloom Filter的海量数据分布式快速匹配算法研究[J]. 罗理,刘响光,胡振,周姣,张刚伟,李启平.  计算机与数字工程. 2011(03)
[8]事件抽取技术的回顾与展望[J]. 许旭阳,韩永峰,宋文政.  信息工程大学学报. 2011(01)
[9]面向资源的RESTful Web应用研究[J]. 潘冰.  微计算机应用. 2010(07)
[10]网络爬虫技术的研究[J]. 孙立伟,何国辉,吴礼发.  电脑知识与技术. 2010(15)

博士论文
[1]中文事件抽取关键技术研究[D]. 谭红叶.哈尔滨工业大学 2008

硕士论文
[1]面向建材信息的网络爬虫系统的设计与实现[D]. 于怀宝.北京交通大学 2015
[2]网络金融数据分析系统的设计与实现[D]. 臧凯源.北京交通大学 2015
[3]中文命名实体识别方法研究[D]. 廖先桃.哈尔滨工业大学 2006
[4]基于条件随机场的中文命名实体识别[D]. 向晓雯.厦门大学 2006



本文编号：3657810