企业与自然人数据归集的设计与实现

发布时间：2023-02-09 09:24

　　国家税务总局作为统筹全国税务数据的负责单位,在金税三期工程在全国范围内顺利推广上线之后,提出了将全国税务数据集中予以挖掘分析以及利用,因此金税三期子项目即大数据云平台项目应运而生。大数据技术在各行各业的不断普及应用,使得运用大数据技术解决税务问题已经成为税收现代化建设的重要指标之一。全国税务数据范围覆盖国、地税70+个上线单位的源头数据、总局和各省局的外部门交换数据以及从互联网渠道获取的开放数据。考虑这些数据量大冗杂的特性,本文系根据国家税务总局提出的关于数据归集的实际需求,完成了企业与自然人数据归集系统的设计与实现。本文基于软件工程处理问题的思想,描述系统的需求分析和设计实现的语言采用的是UML(统一建模语言),采用RUP(统一过程)的软件开发方法,利用阿里搭建的税务专有云平台为框架,全面分析了企业与自然人数据归集系统的6个子系统,并且对各个子系统进行了详细的设计与实现。目前,系统完成了包括数据同步配置文件产出管理、datax脚本调用管理、同步任务执行管理、编码转换管理、数据预处理管理、数据相似度计算管理以归集MapReduce实现管理等在内的一系列功能模块。应用于税务专有云平台开发...

【文章页数】：101 页

【学位级别】：硕士

【文章目录】：
中文摘要
ABSTRACT
第1章 绪论
    1.1 研究背景和意义
        1.1.1 研究的背景
        1.1.2 项目实施的意义
    1.2 国内外研究现状
    1.3 本文解决的主要问题
    1.4 本文的主要工作及组织结构
        1.4.1 本文的主要工作
        1.4.2 本文的组织结构
第2章 系统需求分析
    2.1 系统主要使用者及边界
    2.2 系统的功能需求
        2.2.1 金三系统税务数据同步至MAXCOMPUTE平台需求分析
        2.2.2 MAXCOMPUTE平台编码问题处理需求分析
        2.2.3 归集数据预处理的需求分析
        2.2.4 归集数据相似度计算的需求分析
        2.2.5 归集方式MapReduce实现的需求分析
        2.2.6 数据归集结果筛选的需求分析
    2.3 系统性能需求
        2.3.1 云平台运行环境要求
        2.3.2 客户端计算机的要求
第3章 系统的概要设计
    3.1 企业与自然人数据归集的设计目标与设计原则
        3.1.1 系统的设计原则
        3.1.2 系统的设计目标
    3.2 系统技术架构设计
    3.3 系统网络架构设计
    3.4 系统功能架构设计
    3.5 系统安全架构设计
第4章 系统的详细设计
    4.1 核心业务的详细设计
        4.1.1 相似度计算功能子系统详细设计
        4.1.2 归集的MR实现子系统详细设计
    4.2 数据库设计
第5章 系统的实现与测试
    5.1 系统实现
        5.1.1 数据采集层的实现
        5.1.2 数据处理层的实现
        5.1.3 数据归集层的实现
    5.2 系统测试
        5.2.1 系统测试方案
        5.2.2 系统功能性测试
        5.2.3 系统性能测试
第6章 总结与展望
参考文献
致谢
学位论文评阅及答辩情况表



本文编号：3738639