基于公安大数据图片存取技术研究

发布时间：2020-07-14 06:27

【摘要】：一方面,随着公安“天网”,视频监控基础设施的建设与完善,监控视频数据出现井喷式的增长,另一方面,随着大数据、云计算、物联网等新一代信息化技术的快速发展,公安部门建设基于大数据技术的数据挖掘信息平台,用于情报分析研判及非接触式犯罪分析与预测。海量视频数据的快速存储、高效检索是完成其它功能的基础,因此海量图片数据的高效存储及快速存取技术的研究与应用,有着重大的现实意义。随着监控视频的井喷式增长,图片的存储量已经达到PB以上,并且不断的在扩大。Hadoop的分布式文件系统HDFS,分布式并行化计算框架MapReduce以及HBase为视频数据处理提供了良好的平台。Hadoop为海量视频图片的检索提供了快速、高效的解决方案。本文介绍了人脸识别、特征值提取、文件合并传输以及分布式存储等海量视频数据处理的一系列过程。重点介绍了公安数据的数据来源、数据格式并结合公安项目本身需求对RowKey、列簇进行设计。公安大数据中有非主键查询的多种需求,为了进一步提升检索效率,文中给出了HBase二级索引方案。本文利用本地服务器提取图片特征值,在Hadoop平台下对图片特征值进行聚类处理,最后利用LSH算法将相似的图片映射到同一个哈希桶内。同时文中对k-means进行了适当的改进。首先对图片特征值进行随机抽样处理,减少计算量,之后对数据进行基于密度的聚类处理,动态的确定k-means聚类算法的类簇中心。由小到大绘制K-dist图,利用k-dist图寻找聚类中心,从而减少k-means算法迭代次数。通过与传统的存储方式、传统的k-means的对比测试,证明本论文的k-means算法以及HBase表的设计很大程度的提高了图片的检索效率。
【学位授予单位】：长江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：D631.1;TP311.13
【图文】：

特征图,特征图

k-means算法为了确定聚类中心点，开始的时候聚类的中心点是随机的，k-means会进行多次的迭代，甚至有可能进行数百次的迭代，这会极大的浪费计算资源、极大的占用 CPU、减少其性能。为了解决这个问题最好的办法是对数据进行随机抽样处理，在海量的数据集合下抽取出一定比例的数据，进行聚类中心点的确定。这样做的好处抽样处理不会改变数据的本身的特性，用抽样的数据来代替已有的所有的数据进行数据的分析。样本方差：1()n122 = =nxxSii(3-4)抽样平均误差：nxXx =2()μ (3-5)根据下图 3-1所示图像的分布的特点我们可以看出，虽然右边的数据大大的减少了但是右边的数据并没有影响数据的整体的特性规律。对数据集做抽样的处理，会大大降低数据量，大大的提高程序的运行性能。

节点,图片,后台,聚类中心

等以空间划分的图片检索的优点在于他们检索图片的精确高的，但是在海量多维度的向量的检索效率极差。本论文采用的是利于高维向量检索。时间复杂度在使用 LSH 算法之后将会有一个法中，使用 m个哈希表和 k个哈希函数，最终将会形成 m*k个哈的统一的特征向量进行哈希计算，最终结果是在同一个桶中的特以相似的特征都将在相似的桶内。图像检索的模块的图片输入到后台时，后台将会利用 SURF对前台输入的图片进提取，之后用计算得到的特征值与后台中已有的聚类中心进行计聚类中心点，最后通过 LSH计算，将我们需要查询的范围缩小到希桶中的所有的数据，计算距离，只要距离在某一个范围内，我我们想要得到图片，最后将检索的图片输出。特征提取模块分析图像特征值提取模块的性能，分别在不同的节点数下进行分析，的节点个数。具体的实验结果如图 4-7。

【相似文献】