出入境智能动态管控系统的设计与实现
发布时间：2021-08-24 11:17
随着我国改革开放这一政策的不断深入,世界经济一体化进程的加快以及我国在国际上各个领域的交流不断加深,来华外国人数量也逐年攀升。虽然这些人员为我国经济社会的发展贡献了力量和促进了中外文化交流。但是也带来了不少新的不稳定因素。由于入境的外国人具有较大的流动性、入境事务种类较多和入境范围较广的三大特点,因此会出现“从事与签证种类不符活动”和“涉嫌非法就业外籍人员”等违法行为。为了避免我国的社会治安受到这些违法行为带来的负面影响,需要对境内外国人做好管理工作。如何对其进行有效、有预见性的管理,这是当前研究人员和相关部门研究的核心。习近平总书记在2017年就提出了“一带一路”思想,并在国际合作论坛上宣布2018年举办首届中国国际进口博览会。该会将于2018年11月在上海举办。此次会议期间,预计有60余个国家商务人员来沪,届时需加大对境外人员的分析管理,提高境外人员轨迹分析、预警研判。这就要求上海在对入境外国人进行管理的时候对其要进行全面的信息化管理。在充分明确需求并结合业务要求,对系统模型进行了构建。在上述工作基础上,本文对技术架构进行了详细的设计。由于系统数据来源两个渠道,一个是外部系统,另一...
【文章来源】：江苏大学江苏省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
ETL工作原理示意图
出入境智能动态管控系统的设计与实现通过使用ETL技术，可以实现多个将源端数据结构的映射，使其可以被映射到多个目标端结构，使数据的分发集成实现一次提取，从而满足同时抽取多个目标数据库的需求[24-25]。通过使用该技术，可以实现数据的回滚，如果在分发操作的时候有些数据写入失败，则可以让其他分发操作的数据得到回滚处理，在抽取数据的时候，可以让数据集成工作的一致性提升、平等性提升[26-27]。2.5分布式并行计算架构FusionInsightMPP设计为能够分析和存储PB级海量结构化数据，其包括多个系统资源逻辑节点，比如存储、内容等，这些节点互不共享，彼此之间是独立的存在，基于x86服务器、Shared-Nothing分布式执行的开发架构,在这样的系统架构中，可以让业务数据被分散，从而使不同的物理节点存储这些数据，通过分析数据，可以使就近位置的数据被执行，利用控制模型协调功能，可以让大量数据的处理工作被完成，大幅度缩短系统处理数据的响应时间。FusionInsightMPP支持通过开放标准SQL接口实现复杂查询。通过分布列散列算法和分区路由算法避免数据偏斜导致单节点计算或存储性能瓶颈，提供整集群近似线性扩展能力。其具体框架图见图2.2所示。全AA架构实现系统在规模数据处理过程中的24小时不间断服务。图2.2FusionInsightMPP框架图2.6Hadoop计算架构对Hadoop大数据处理平台进行研究可以明确，其集成了多种功能，如监控、分析、查询等，该架构具有以下优点：1）可维护性和易管理性
江苏大学工程硕士学位论文13否进行合并，否则新增，同时记录新增或修改时间；（2）每天凌晨对人员索引表中的全部记录（人员状态为有效数据），抽取全国版系统、公安部接口、社会化数据的到出入境各中间表；如遇到本地库与全国库记录相同时，不做合并处理，用数据来源区分；（3）按最后修改时间作为时间戳同步进市局汇集库。3.2.2数据获取本课题系统需要有大量的数据支持，数据可以从不同的网络中获得，比如互联网中的数据、市局大数据中心存储的数据等。可以保存数据的方式有很多种，比如：可以通过Word、Excel等文件保存数据，可以通过Sqlserver、Oracle等关系型数据库保存数据。在对这些数据进行采集和利用的时候，将会根据不同出入境数据管理业务进行，通过对数据进行清洗、组织，从而使数据可以根据业务需求被保存。在获取数据的时候，是通过插件式的设计模式实现的，通过让开放的访问组件可以访问总数据文件和数据库，从而获得多源异构数据。如果是新的数据源，则可以集成在本课题的技术框架中，从而使系统在获取数据的时候具有更好的扩展性。3.2.3数据维护本课题系统需要具有数据维护功能，可以修改、维护已经保存在数据库中的基础数据，包括的数据有轨迹、出入境等，此外，本系统还可以添加新的数据，图3.2所示的是基础数据维护操作流程示意。图3.2基础数据维护流程示意图当使用人员登录系统之后，系统会对使用人员登录的用户名进行识别，明确该用户具有的操作权限，如果发现该使用人员并没有管理权限，则可以让使用人员使用基础功
【参考文献】：
期刊论文
[1]Echarts在数据可视化课程中的应用[J]. 郑戟明,柳青. 电脑知识与技术. 2020(02)
[2]云环境下基于混合密码体系的跨域控制方案[J]. 江泽涛,时晨,张少钦,徐娟娟. 计算机应用研究. 2020(11)
[3]大数据背景下数据库的安全管理[J]. 侯珂珂,蔡莉莉. 电子技术与软件工程. 2019(20)
[4]我国境内“三非”外国人问题分析[J]. 方卫军. 山东警察学院学报. 2019(03)
[5]基于SOA的信息总线与云计算的融合策略[J]. 平彦. 中国新通信. 2018(20)
[6]警务大数据关键技术研究及多轨联侦应用探索[J]. 刘翔,彭成. 中国安全防范技术与应用. 2018(04)
[7]计算机软件工程方法的进展研究[J]. 李林森. 科技展望. 2016(29)
[8]城市地铁反恐应急处置对策研究[J]. 陈文彪. 公安教育. 2016(09)
[9]信息可视化分析技术在公安行业中的应用[J]. 余协力,陈宇. 警察技术. 2011(01)
[10]ETL在公安部门数据共享与资源整合中的应用[J]. 高立春,徐叶强. 情报杂志. 2010(S2)
硕士论文
[1]我国出入境边防检查机关反恐职能研究[D]. 汪文.安徽大学 2019
[2]复杂信息系统的数据提取、建模及其应用[D]. 黄鹏飞.浙江理工大学 2019
[3]境外人员管理问题研究[D]. 刘柏辰.南京理工大学 2018
[4]大数据应用于外国人管理问题研究[D]. 吴婷婷.东北财经大学 2018
[5]基于ETL的公安情报数据质量分析与优化[D]. 王霞.中国科学院大学(工程管理与信息技术学院) 2016
[6]警务可视化实战应用系统研究与研发[D]. 谢强.电子科技大学 2016
[7]我国地铁警务标准化研究[D]. 邱三忠.华南理工大学 2016
[8]基于数据挖掘的涉外情报系统设计与实现[D]. 韦雷.上海交通大学 2015
本文编号：3359886
【文章来源】：江苏大学江苏省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
ETL工作原理示意图
出入境智能动态管控系统的设计与实现通过使用ETL技术，可以实现多个将源端数据结构的映射，使其可以被映射到多个目标端结构，使数据的分发集成实现一次提取，从而满足同时抽取多个目标数据库的需求[24-25]。通过使用该技术，可以实现数据的回滚，如果在分发操作的时候有些数据写入失败，则可以让其他分发操作的数据得到回滚处理，在抽取数据的时候，可以让数据集成工作的一致性提升、平等性提升[26-27]。2.5分布式并行计算架构FusionInsightMPP设计为能够分析和存储PB级海量结构化数据，其包括多个系统资源逻辑节点，比如存储、内容等，这些节点互不共享，彼此之间是独立的存在，基于x86服务器、Shared-Nothing分布式执行的开发架构,在这样的系统架构中，可以让业务数据被分散，从而使不同的物理节点存储这些数据，通过分析数据，可以使就近位置的数据被执行，利用控制模型协调功能，可以让大量数据的处理工作被完成，大幅度缩短系统处理数据的响应时间。FusionInsightMPP支持通过开放标准SQL接口实现复杂查询。通过分布列散列算法和分区路由算法避免数据偏斜导致单节点计算或存储性能瓶颈，提供整集群近似线性扩展能力。其具体框架图见图2.2所示。全AA架构实现系统在规模数据处理过程中的24小时不间断服务。图2.2FusionInsightMPP框架图2.6Hadoop计算架构对Hadoop大数据处理平台进行研究可以明确，其集成了多种功能，如监控、分析、查询等，该架构具有以下优点：1）可维护性和易管理性
江苏大学工程硕士学位论文13否进行合并，否则新增，同时记录新增或修改时间；（2）每天凌晨对人员索引表中的全部记录（人员状态为有效数据），抽取全国版系统、公安部接口、社会化数据的到出入境各中间表；如遇到本地库与全国库记录相同时，不做合并处理，用数据来源区分；（3）按最后修改时间作为时间戳同步进市局汇集库。3.2.2数据获取本课题系统需要有大量的数据支持，数据可以从不同的网络中获得，比如互联网中的数据、市局大数据中心存储的数据等。可以保存数据的方式有很多种，比如：可以通过Word、Excel等文件保存数据，可以通过Sqlserver、Oracle等关系型数据库保存数据。在对这些数据进行采集和利用的时候，将会根据不同出入境数据管理业务进行，通过对数据进行清洗、组织，从而使数据可以根据业务需求被保存。在获取数据的时候，是通过插件式的设计模式实现的，通过让开放的访问组件可以访问总数据文件和数据库，从而获得多源异构数据。如果是新的数据源，则可以集成在本课题的技术框架中，从而使系统在获取数据的时候具有更好的扩展性。3.2.3数据维护本课题系统需要具有数据维护功能，可以修改、维护已经保存在数据库中的基础数据，包括的数据有轨迹、出入境等，此外，本系统还可以添加新的数据，图3.2所示的是基础数据维护操作流程示意。图3.2基础数据维护流程示意图当使用人员登录系统之后，系统会对使用人员登录的用户名进行识别，明确该用户具有的操作权限，如果发现该使用人员并没有管理权限，则可以让使用人员使用基础功
【参考文献】：
期刊论文
[1]Echarts在数据可视化课程中的应用[J]. 郑戟明,柳青. 电脑知识与技术. 2020(02)
[2]云环境下基于混合密码体系的跨域控制方案[J]. 江泽涛,时晨,张少钦,徐娟娟. 计算机应用研究. 2020(11)
[3]大数据背景下数据库的安全管理[J]. 侯珂珂,蔡莉莉. 电子技术与软件工程. 2019(20)
[4]我国境内“三非”外国人问题分析[J]. 方卫军. 山东警察学院学报. 2019(03)
[5]基于SOA的信息总线与云计算的融合策略[J]. 平彦. 中国新通信. 2018(20)
[6]警务大数据关键技术研究及多轨联侦应用探索[J]. 刘翔,彭成. 中国安全防范技术与应用. 2018(04)
[7]计算机软件工程方法的进展研究[J]. 李林森. 科技展望. 2016(29)
[8]城市地铁反恐应急处置对策研究[J]. 陈文彪. 公安教育. 2016(09)
[9]信息可视化分析技术在公安行业中的应用[J]. 余协力,陈宇. 警察技术. 2011(01)
[10]ETL在公安部门数据共享与资源整合中的应用[J]. 高立春,徐叶强. 情报杂志. 2010(S2)
硕士论文
[1]我国出入境边防检查机关反恐职能研究[D]. 汪文.安徽大学 2019
[2]复杂信息系统的数据提取、建模及其应用[D]. 黄鹏飞.浙江理工大学 2019
[3]境外人员管理问题研究[D]. 刘柏辰.南京理工大学 2018
[4]大数据应用于外国人管理问题研究[D]. 吴婷婷.东北财经大学 2018
[5]基于ETL的公安情报数据质量分析与优化[D]. 王霞.中国科学院大学(工程管理与信息技术学院) 2016
[6]警务可视化实战应用系统研究与研发[D]. 谢强.电子科技大学 2016
[7]我国地铁警务标准化研究[D]. 邱三忠.华南理工大学 2016
[8]基于数据挖掘的涉外情报系统设计与实现[D]. 韦雷.上海交通大学 2015
本文编号：3359886
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3359886.html
