安徽高速收费稽查分析中Elasticsearch应用研究

发布时间：2025-01-15 19:52

　　 随着安徽省高速路网的快速发展,通行量越来越大,稽查管理工作压力也越来越大,如何利用技术手段提高稽查分析的效率和准确性成为一大课题。开源分布式搜索引擎ElasticSearch是一个分布式高可用开源全文检索和分析组件,可提供存储、搜索、大数据准实时分析等服务本文阐述了其在安徽省高速收费稽查分析系统中的应用架构、数据规划、集群建设以及应用情况等内容,重点解决收费流水数据的统一存储、统一查询以及查询的时效等问题,并结合实际情况,证明了Elasticsearch能够满足未来高速路网收费稽查业务的发展需要。

【文章页数】：4 页

【部分图文】：

图１稽查分析系统架构??

了表分区和索引技术，但在亿级数据量的情况下查询仍然??很慢，难以满足收费流水稽查的需求。??经过多种技术方案对比，最终决定采用时序数据库方式实现??收费流程稽查库设计。根据目前稽查工作的问题，对收费流水稽??查系统做如下要求：一是能够承受高并发和高吞吐量，可以同时??进行数据导入....

图７?Ｅｌａｓｔｉｃｓｅａｒｃｈ插件字段项设置??数据源是ＨＤＰ＋ＨＤＢ大数据集群，ＨＤＰ共六个节点，一个名称??节点，一个备用名称节点，五个数据节点；ＨＤＢ共六个节点，一??

示。??（Ｑ）?Ｖ??ＨＤＢ?Ｋｅｔｔｌｅ?Ｅｌａｓｔｉｃｓｅａｒｃｈ??图３数据抽取流程图??ＨＤＢ?２．２兼容ＰｏｓｔｇｒｅＳＱＬ?８．４，提供了ＧｒｅｅｎＰｌｕｍ?ＪＤＢＣ驱动??程序：Ｋｅｔｔｌｅ支持ＧｒｅｅｎＰｌｕｍ数据源，并提供Ｅｌａｓｔｉｃｓｅａｒｃｈ?５丄１插??....

图３数据抽取流程图??ＨＤＢ?２．２兼容ＰｏｓｔｇｒｅＳＱＬ?８．４，提供了ＧｒｅｅｎＰｌｕｍ?ＪＤＢＣ驱动??

技术〈ＴＥＣＨＮＯＬＯＧＹ??图２出口流水稽查分析查询条件??Ｋｅｔｔｌｅ作为ＥＴＬ工具，把ＨＤＢ表中的数据油取到Ｅｌａｓｔｉｃｓｅａｒｃｈ索??引中：数据油取流程如图３所示。??（Ｑ）?Ｖ??ＨＤＢ?Ｋｅｔｔｌｅ?Ｅｌａｓｔｉｃｓｅａｒｃｈ??图３数据抽取流程图??ＨＤＢ?２．....

图５?Ｅｌａｓｔｉｃｓｅａｒｃｈ插件服务器项设置??

据油取流程如图３所示。??（Ｑ）?Ｖ??ＨＤＢ?Ｋｅｔｔｌｅ?Ｅｌａｓｔｉｃｓｅａｒｃｈ??图３数据抽取流程图??ＨＤＢ?２．２兼容ＰｏｓｔｇｒｅＳＱＬ?８．４，提供了ＧｒｅｅｎＰｌｕｍ?ＪＤＢＣ驱动??程序：Ｋｅｔｔｌｅ支持ＧｒｅｅｎＰｌｕｍ数据源，并提供Ｅｌａｓｔｉｃｓｅａｒ....

本文编号：4027773