基于网络爬虫技术的审计大数据采集与应用研究
发布时间：2021-06-28 05:40
党的十九大对审计监督提出更高的要求,要构建集中统一,全面覆盖,权威高效的审计监督体系,国家审计要适应新时代、新要求、新部署,及时反映和揭示经济社会各领域的新问题、新情况和新趋势,与时俱进地开创审计事业发展的新局面。但随着大数据、人工智能和区块链等新技术的出现,对审计工作的开展提出了新的挑战。大数据时代,传统审计技术方法难以满足现代审计的要求,迫切需要审计人员转变思维,创新审计技术和方法,运用大数据的思维和技术方法,扩大审计范围和对内外部关联数据的对比分析,发现审计疑点,寻找审计线索。在大数据审计环境中,审计电子数据在审计过程中处于“核心位置”,其完整性、一致性、有效性是大数据审计分析的基础,是发现审计问题与线索的关键;是审计报告的重要依据,能够采集完整的、一致性的、有效性的审计电子数据尤为重要。目前,审计电子数据采集主要来源于两方面:一方面是被审计单位提供的,其可靠性和真实性不得而知。另一方面是来自其他方面的支撑数据,如上级主管部门的数据,其他相关单位共享数据,互联网上的公开数据等。前面获取容易,后者往往被人们忽略,尤其在互联网网络页面中隐藏了可免费公开访问的有效数据集,可对审计工作起...
【文章来源】：南京审计大学江苏省
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
论文演化路径图
11图2.1传感器数据主要来源而对于物联网中的数据主要是通过传感器进行数据采集。传感器在日常生活中很常见，用于测量物理量并将物理量转换为可读数字信号，以便后续处理（和存储）。感官数据可分为声波，声音，振动，汽车，化学，电流，天气，压力，温度等。感知信息通过有线或无线网络传输到数据收集点。对于可以容易地部署和管理的应用，例如视频监视系统，有线传感器网络是获取相关信息的便利解决方案。有时，特定现象的准确位置是未知的，有时受监控的环境没有能量或通信基础设施。然后必须使用无线通信来在有限的能量和通信能力下实现传感器节点之间的数据传输。近年来，无线传感器网络受到了广泛的关注，并已应用于许多应用，如环境研究[34]，水质监测[50]，土木工程[36]等。②系统日志采集许多的业务平台每天都会产生大量的日志数据。对于这些日志信息，可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。日志文件采集作为一种广泛使用的数据收集方法，日志文件是由数据源系统自动生成的记录文件，以便以指定的文件格式记录活动以供后续分析。日志文件通常用于几乎所有数字设备。例如，Web服务器在日志文件中记录网页用户的点击次数，点击率，访问次数和其他财产记录[69]。为了捕获网站上用户的活动，Web服务器主要包括以下三种日志文件格式：公共日志文件格式（NCSA），扩展日志格式（W3C）和IIS日志格式（Microsoft）。所有这三种类型的日志文件都是ASCII文本格式。除文本文件之外的数据库有时可用于?
17下，将不符合审计系统的文件转换成符合审计系统读取的文件。（6）开放数据互连（ODBC）采用数据库连接中间件，如ODBC接口等直接对被审计单位的数据进行采集。在实际审计业务中，对于业务数据的采集可分为对于非数据库数据的采集和数据库数据的采集。对于非数据库数据的采集，通常包括对文本数据、电子表格数据、XML数据以及其他常见格式数据的采集（如WORD、EXCEL、PDF、WPS和网页文件的格式数据等）。而对被审计单位数据库数据的采集，在审计业务中常见的有DBF数据采集、ACCESS数据采集、SQLServer数据采集和ORACLE数据采集。具体采集内容和方法，如图2.2。图2.2审计业务数据采集审计数据采集是审计业务开展的重要环节，审计数据采集不仅会影响最终审计结果的准确性，也会对审计计划的投入产出比产生影响。同时，审计数据采集也是开展审计大数据的基本前提。因此，在审计数据采集中要遵循几点数据采集原则，而不仅仅依靠被审计单位的数据满足审计需求。首先，对于采集审计数据的选择应以能够实现审计项目计划方案、查处审计疑点和线索为目标。其次，要在对被审计单位业务流程以及被审计单位应用系统充分了解的前提下进行数据采集。最后，不仅要采集被审计单位内部的数据，更加要对与被审计单位相关的市尝行业等外部关联数据进行采集。随着信息化技术的快速发展，尤其当前大数据和人工智能技术的应用，各行各业实现智能化办公，导致审计数据的采集也成为了审计中的一个难题。目前，审计大数据的采集对审计数据采集方法提出了更高的要求：①全面性。审计采集
【参考文献】：
期刊论文
[1]审计大数据分析人才需求及其培养——基于CDIO理念的模式建构[J]. 阳杰,应里孟. 财会月刊. 2019(04)
[2]审计全覆盖驱动下的审计技术方法创新研究[J]. 陈骏,时现. 审计研究. 2018(05)
[3]基于网络爬虫技术的大数据审计方法研究[J]. 陈伟,孙梦蝶. 中国注册会计师. 2018(07)
[4]财政专项资金审计难点及应对策略探析[J]. 徐海军. 中国注册会计师. 2018(03)
[5]审计大数据的提出、特征及挑战[J]. 吕天阳,杨蕴毅,邱玉慧. 财会月刊. 2018(05)
[6]基于大数据可视化技术的审计线索特征挖掘方法研究[J]. 陈伟,居江宁. 审计研究. 2018(01)
[7]关于专项资金财务审计问题的研究[J]. 成冲. 财经界(学术版). 2017(23)
[8]大数据价值链视角下的审计工作创新与实践[J]. 牛艳芳,冯占国,孟祥宇. 审计研究. 2017(05)
[9]主题网络爬虫技术在高速公路信息采集中的应用[J]. 张芳,王培进. 烟台大学学报(自然科学与工程版). 2017(03)
[10]基于网络爬虫技术的健康医疗大数据采集整理系统[J]. 卞伟玮,王永超,崔立真,郭伟,李晖,周苗,薛付忠,刘静. 山东大学学报(医学版). 2017(06)
硕士论文
[1]大数据环境下的专项资金审计研究与应用[D]. 孙梦蝶.南京审计大学 2018
本文编号：3253735
【文章来源】：南京审计大学江苏省
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
论文演化路径图
11图2.1传感器数据主要来源而对于物联网中的数据主要是通过传感器进行数据采集。传感器在日常生活中很常见，用于测量物理量并将物理量转换为可读数字信号，以便后续处理（和存储）。感官数据可分为声波，声音，振动，汽车，化学，电流，天气，压力，温度等。感知信息通过有线或无线网络传输到数据收集点。对于可以容易地部署和管理的应用，例如视频监视系统，有线传感器网络是获取相关信息的便利解决方案。有时，特定现象的准确位置是未知的，有时受监控的环境没有能量或通信基础设施。然后必须使用无线通信来在有限的能量和通信能力下实现传感器节点之间的数据传输。近年来，无线传感器网络受到了广泛的关注，并已应用于许多应用，如环境研究[34]，水质监测[50]，土木工程[36]等。②系统日志采集许多的业务平台每天都会产生大量的日志数据。对于这些日志信息，可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。日志文件采集作为一种广泛使用的数据收集方法，日志文件是由数据源系统自动生成的记录文件，以便以指定的文件格式记录活动以供后续分析。日志文件通常用于几乎所有数字设备。例如，Web服务器在日志文件中记录网页用户的点击次数，点击率，访问次数和其他财产记录[69]。为了捕获网站上用户的活动，Web服务器主要包括以下三种日志文件格式：公共日志文件格式（NCSA），扩展日志格式（W3C）和IIS日志格式（Microsoft）。所有这三种类型的日志文件都是ASCII文本格式。除文本文件之外的数据库有时可用于?
17下，将不符合审计系统的文件转换成符合审计系统读取的文件。（6）开放数据互连（ODBC）采用数据库连接中间件，如ODBC接口等直接对被审计单位的数据进行采集。在实际审计业务中，对于业务数据的采集可分为对于非数据库数据的采集和数据库数据的采集。对于非数据库数据的采集，通常包括对文本数据、电子表格数据、XML数据以及其他常见格式数据的采集（如WORD、EXCEL、PDF、WPS和网页文件的格式数据等）。而对被审计单位数据库数据的采集，在审计业务中常见的有DBF数据采集、ACCESS数据采集、SQLServer数据采集和ORACLE数据采集。具体采集内容和方法，如图2.2。图2.2审计业务数据采集审计数据采集是审计业务开展的重要环节，审计数据采集不仅会影响最终审计结果的准确性，也会对审计计划的投入产出比产生影响。同时，审计数据采集也是开展审计大数据的基本前提。因此，在审计数据采集中要遵循几点数据采集原则，而不仅仅依靠被审计单位的数据满足审计需求。首先，对于采集审计数据的选择应以能够实现审计项目计划方案、查处审计疑点和线索为目标。其次，要在对被审计单位业务流程以及被审计单位应用系统充分了解的前提下进行数据采集。最后，不仅要采集被审计单位内部的数据，更加要对与被审计单位相关的市尝行业等外部关联数据进行采集。随着信息化技术的快速发展，尤其当前大数据和人工智能技术的应用，各行各业实现智能化办公，导致审计数据的采集也成为了审计中的一个难题。目前，审计大数据的采集对审计数据采集方法提出了更高的要求：①全面性。审计采集
【参考文献】：
期刊论文
[1]审计大数据分析人才需求及其培养——基于CDIO理念的模式建构[J]. 阳杰,应里孟. 财会月刊. 2019(04)
[2]审计全覆盖驱动下的审计技术方法创新研究[J]. 陈骏,时现. 审计研究. 2018(05)
[3]基于网络爬虫技术的大数据审计方法研究[J]. 陈伟,孙梦蝶. 中国注册会计师. 2018(07)
[4]财政专项资金审计难点及应对策略探析[J]. 徐海军. 中国注册会计师. 2018(03)
[5]审计大数据的提出、特征及挑战[J]. 吕天阳,杨蕴毅,邱玉慧. 财会月刊. 2018(05)
[6]基于大数据可视化技术的审计线索特征挖掘方法研究[J]. 陈伟,居江宁. 审计研究. 2018(01)
[7]关于专项资金财务审计问题的研究[J]. 成冲. 财经界(学术版). 2017(23)
[8]大数据价值链视角下的审计工作创新与实践[J]. 牛艳芳,冯占国,孟祥宇. 审计研究. 2017(05)
[9]主题网络爬虫技术在高速公路信息采集中的应用[J]. 张芳,王培进. 烟台大学学报(自然科学与工程版). 2017(03)
[10]基于网络爬虫技术的健康医疗大数据采集整理系统[J]. 卞伟玮,王永超,崔立真,郭伟,李晖,周苗,薛付忠,刘静. 山东大学学报(医学版). 2017(06)
硕士论文
[1]大数据环境下的专项资金审计研究与应用[D]. 孙梦蝶.南京审计大学 2018
本文编号：3253735
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3253735.html
