智慧城市中数据采集隐私保护研究
发布时间：2021-06-10 07:11
智慧城市通过无所不在的物联网获取并传输信息,将海量实时数据交由云计算进行处理,并将处理结果反馈到控制系统,通过物联网实现智能化和自动化控制,最终让城市达到“智慧”状态。大数据、云计算、物联网等技术的发展,为智慧城市实体间的数据交换、共享、分析和使用提供了有效的技术手段,有助于智慧城市安全、科学、高效地运行。智慧城市利用先进的信息技术和通信技术实现城市智能的高效运行,其运行过程中会产生海量多源异构数据,且数据量巨大,增长速度快。通常,这些数据中包含大量个人或组织的敏感信息,所以在数据采集过程中,面临着严重的隐私泄露风险,采集到的数据可能威胁到国家、社会及个人安全。由于城市数据具有动态性强、增长迅速、实时性强等特点,使得传统的数据采集隐私保护方法不再适用。本文针对城市大数据中面临的数据采集隐私保护问题,在Map Reduce工作模型的基础上提出了三种适用于大规模动态环境下的城市大数据采集隐私保护算法。第一,基于Map Reduce模型的k-匿名算法,首先使用Map Reduce模型对大量数据集进行处理,处理过程中进行等价类的划分,使每个等价类中的元组数至少有k条,并且与其他k-1条记录完全...
【文章来源】：山西师范大学山西省
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
智慧城市总体构架
山西师范大学硕士学位论文18形式，最终，每个reduce产生0或1个输出。combiner是本地化的reducer操作，是对map过程的后续操作，通过合并重复key值，减少数据的传输量和网络的负载量，提高文件的传输效率。2、物理实体MapReduce工作模型中，参与每个作业执行的物理实体主要有4个：（1）客户端：当有新作业提交时，程序员需要编写mapreduce程序，为新作业配置信息，提交作业。（2）JobTracker：主要用于调度工作，对作业进行初始化操作，同时进行作业的分配，保持与TaskTracker通信。需要注意的是MapReduce中JobTracker只有一个。在整个作业执行过程中，协调各阶段的处理过程。（3）TaskTracker：对工作进行执行，与JobTracker不同的是，TaskTracker可以有n多个，并且随时保持与JobTracker之间的通信，在TaskTracker中，执行Map任务和Reduce任务。（4）Hdfs：hdfs保存了作业的所有数据和配置信息，最后对于数据的处理结果也是保存在hdfs上。图4-1MapReduce物理实体组成图
（3）接着将作业的资源文件复制到分布式文件系统中，资源文件中包含 JAR 文件、对数据的输入划分信息以及与之相关的配置文件。JobTracker 将这些资源文件放入新创建的文件夹中，文件夹名为当前运行作业的 Job ID。通常，JAR 文件默认会有 10 个副本，这是由 mapred.submit.replication 属性控制的，JobTracker 启动 Map 任务的数量是与输入划分的数量一致的。（4）JobTracker 接收客户端提交的多个作业，将其存放在一个作业队列中，当一个作业完成后，作业调度器根据调度算法从作业队列中调度下一个作业。
【参考文献】：
期刊论文
[1]基于区块链和同态加密的电子健康记录隐私保护方案[J]. 徐文玉,吴磊,阎允雪. 计算机研究与发展. 2018(10)
[2]基于差分隐私的数据匿名化隐私保护方法[J]. 陈晓宇,韩斌,黄树成. 计算机技术与发展. 2018(07)
[3]社交网络高效高精度去匿名化算法[J]. 刘家霖,史舒扬,张悦眉,邵蓥侠,崔斌. 软件学报. 2018(03)
[4]同态加密技术及其在云计算隐私保护中的应用[J]. 李宗育,桂小林,顾迎捷,李雪松,戴慧珺,张学军. 软件学报. 2018(07)
[5]一种基于差分隐私和时序的推荐系统模型研究[J]. 范利云,左万利,王英,王鑫. 电子学报. 2017(09)
[6]一种改进的水平分布式环境下基于同态加密的隐私保护算法[J]. 张燕平,凌捷. 计算机科学. 2017(08)
[7]基于差分隐私的数据匿名化隐私保护方法[J]. 宋健,许国艳,夭荣朋. 计算机应用. 2016(10)
[8]智慧城市与智慧的城市规划[J]. 邓毛颖. 华南理工大学学报(社会科学版). 2015(03)
[9]社交网络用户隐私保护的博弈模型[J]. 黄启发,朱建明,宋彪,章宁. 计算机科学. 2014(10)
[10]大数据时代出版行业发展趋势分析[J]. 周煜. 中国出版. 2014(07)
博士论文
[1]无线传感器网络数据融合安全问题的研究[D]. 李超然.北京交通大学 2016
硕士论文
[1]基于云平台的数据挖掘算法的研究与实现[D]. 颜巍.电子科技大学 2013
本文编号：3221933
【文章来源】：山西师范大学山西省
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
智慧城市总体构架
山西师范大学硕士学位论文18形式，最终，每个reduce产生0或1个输出。combiner是本地化的reducer操作，是对map过程的后续操作，通过合并重复key值，减少数据的传输量和网络的负载量，提高文件的传输效率。2、物理实体MapReduce工作模型中，参与每个作业执行的物理实体主要有4个：（1）客户端：当有新作业提交时，程序员需要编写mapreduce程序，为新作业配置信息，提交作业。（2）JobTracker：主要用于调度工作，对作业进行初始化操作，同时进行作业的分配，保持与TaskTracker通信。需要注意的是MapReduce中JobTracker只有一个。在整个作业执行过程中，协调各阶段的处理过程。（3）TaskTracker：对工作进行执行，与JobTracker不同的是，TaskTracker可以有n多个，并且随时保持与JobTracker之间的通信，在TaskTracker中，执行Map任务和Reduce任务。（4）Hdfs：hdfs保存了作业的所有数据和配置信息，最后对于数据的处理结果也是保存在hdfs上。图4-1MapReduce物理实体组成图
（3）接着将作业的资源文件复制到分布式文件系统中，资源文件中包含 JAR 文件、对数据的输入划分信息以及与之相关的配置文件。JobTracker 将这些资源文件放入新创建的文件夹中，文件夹名为当前运行作业的 Job ID。通常，JAR 文件默认会有 10 个副本，这是由 mapred.submit.replication 属性控制的，JobTracker 启动 Map 任务的数量是与输入划分的数量一致的。（4）JobTracker 接收客户端提交的多个作业，将其存放在一个作业队列中，当一个作业完成后，作业调度器根据调度算法从作业队列中调度下一个作业。
【参考文献】：
期刊论文
[1]基于区块链和同态加密的电子健康记录隐私保护方案[J]. 徐文玉,吴磊,阎允雪. 计算机研究与发展. 2018(10)
[2]基于差分隐私的数据匿名化隐私保护方法[J]. 陈晓宇,韩斌,黄树成. 计算机技术与发展. 2018(07)
[3]社交网络高效高精度去匿名化算法[J]. 刘家霖,史舒扬,张悦眉,邵蓥侠,崔斌. 软件学报. 2018(03)
[4]同态加密技术及其在云计算隐私保护中的应用[J]. 李宗育,桂小林,顾迎捷,李雪松,戴慧珺,张学军. 软件学报. 2018(07)
[5]一种基于差分隐私和时序的推荐系统模型研究[J]. 范利云,左万利,王英,王鑫. 电子学报. 2017(09)
[6]一种改进的水平分布式环境下基于同态加密的隐私保护算法[J]. 张燕平,凌捷. 计算机科学. 2017(08)
[7]基于差分隐私的数据匿名化隐私保护方法[J]. 宋健,许国艳,夭荣朋. 计算机应用. 2016(10)
[8]智慧城市与智慧的城市规划[J]. 邓毛颖. 华南理工大学学报(社会科学版). 2015(03)
[9]社交网络用户隐私保护的博弈模型[J]. 黄启发,朱建明,宋彪,章宁. 计算机科学. 2014(10)
[10]大数据时代出版行业发展趋势分析[J]. 周煜. 中国出版. 2014(07)
博士论文
[1]无线传感器网络数据融合安全问题的研究[D]. 李超然.北京交通大学 2016
硕士论文
[1]基于云平台的数据挖掘算法的研究与实现[D]. 颜巍.电子科技大学 2013
本文编号：3221933
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3221933.html
