垂直搜索引擎在企业征信中的应用研究

发布时间：2020-06-26 20:16

【摘要】：目前因企业信用信息不对称而引发的失信行为时有发生,企业交易风险日益严重。而现有的企业征信系统提供的企业征信数据维度较少,主要集中在企业的基本信息和信贷信息,无法准确、全面的反映企业的信用情况。因此,市场迫切需要一个企业征信信息共享平台。论文以企业征信垂直搜索引擎为研究内容,首先给出了企业征信垂直搜索引擎整体架构;利用网络爬虫技术采集互联网上企业征信数据,并对数据进行预处理;将知识图谱技术引入企业征信行业,建立了企业征信关联图谱;结合Lucene技术建立了全文检索模型;最后开发设计了企业征信搜索引擎原型系统。主要研究内容包括:(1)企业征信垂直搜索引擎架构:根据垂直搜索引擎架构,结合企业征信数据准确度要求高、存在关联关系的特点,提出企业征信垂直搜索引擎架构。(2)企业征信数据获取与预处理:首先对企业征信数据进行了深入研究,采用网络爬虫的方法采集数据,设计了数据采集方案和流程;然后利用Scrapy框架从全国12315互联网平台、国家企业信用信息公示系统等多个权威机构公开信息网站上抓取企业征信相关信息;然后对抓取的数据进行了数据清洗、数据聚合等预处理工作。(3)企业征信关联图谱建模:深入研究了知识图谱技术,分析了企业征信的数据维度、搜索需求和数据关联关系;将知识图谱技术引入企业征信领域,提出构建企业征信关联图谱的设计思路;抽取了企业征信实体、实体属性以及实体关联关系,并采用OWL进行建模,给出了企业征信关联图谱的形式化描述。(4)企业征信搜索引擎原型系统设计:利用PyCharm、Neo4j等工具设计并实现了企业征信垂直搜索引擎原型系统。实现了企业征信数据获取与预处理、采用图数据库Neo4j构建了企业征信关联图谱、结合Lucene技术实现了企业征信信息全文索引与检索,实现了企业征信信息显示以及企业征信关联图谱的可视化等功能。
【学位授予单位】：石家庄铁道大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：F832.4;TP391.3
【图文】：

架构图,企业征信,架构

关系、分支关系等，关系信息是影响企业信用的一大因素，企业的信用情况通过关系信息间接反映出来。2.3.2 企业征信垂直搜索引擎架构论文利用网络爬虫技术从预先定义好的几个权威机构公开信息网站中抓企业征信数据，保证抓取的数据是与企业征信主题相关且真实准确的。企业征信垂直搜索引擎包括网络数据获取、数据预处理、数据分析、关图谱以及全文索引与检索五部分。企业征信垂直搜索引擎架构如图 2-2 所示。

工作流程图,网络爬虫,工作流程图,队列

网络爬虫的原理是从初始种子开始，将初始种子全部放到待抓取队列虫按顺序从待抓取队列中取出 URL，经过域名解析后，开始抓取并存的网页，然后通过网页搜索策略提取出新的 URL，并把新的 URL 继续抓取集中，之后再将上述过程进行循环，直到待爬取队列为空或达到条件时停止抓取。网络爬虫工作流程如图 3-1 所示。

【参考文献】