烟田多层次视域数据分布式存储与检索

发布时间：2020-01-30 00:36

【摘要】：目前，作物生长图像远程采集过程中普遍存在适时性与监测能力较差、采集效率较低的问题，另一方面，在使用传统分布式数据库架构存储和管理海量农业数据时也存在效率不高、存储能力不足、硬件压力较大等问题。针对这些问题，本研究以实现烟田多层次视域数据的分布式存储与管理为目标，采用网络摄像机作为前端图像自动采集设备，通过研究海量数据分布式存储技术、图像检索技术等，提出了基于分布式文件系统HDFS与关系型数据库技术相结合的架构，配合基于文本的图像检索与基于感知哈希的图像检索相组合的灵活方式实现烟田多层次视域数据分布式管理系统的方案。论文的主要工作及成果如下：（1）提出了基于分布式文件系统HDFS架构实现海量作物图像存储的方法，并结合关系型数据库技术，实现了图像可靠高效的存储与管理，解决了海量数据存储能力不足、对系统硬件压力大、成本高等问题。（2）采用基于文本的图像检索与基于感知哈希的图像检索相结合的方式实现了多层次视域图像检索，解决了文本描述难以充分表达图像内容、难以实现基于图像视觉特征进行相似性检索的问题。（3）使用Java语言和Strust2框架设计并实现了烟田多层次视域数据分布式管理系统，对采集到的多层次视域数据进行分布式存储与管理，结果表明该系统能够对西北农林科技大学试验示范站的22台网络摄像机所获取的图像和视频流数据，以及人工拍摄的作物图像进行有效的存储和检索。本研究适时采集和存储烟田作物图像的方法，对农作物远程监测、生产决策、长势及产量评估、病虫草害防治等应用提供了有效的技术手段和数据支持。
【图文】：

存储方案,图像数据

其发送给管道中的下一个数据节点，以流水线的形式写数最后一个数据节点存储成功后返回一个确认包。传输过程当前的管道会被关闭，故障节点会从管道中移除，名字节保持 replication 设定的副本数。文件写入完成后关闭连接视域数据存储方案上存储方案进行分析、研究和比较，为实现图像和视频数用分布式文件系统 HDFS 与关系型数据库相结合的方式案。对于手机拍摄的低分辨率图像、数码照相机拍摄的高虚拟网络摄像机方式进行管理，加盖时间戳后通过网络将并将其相关信息存入数据库。网络摄像机自动采集的图像照设定时间定时将图像采集系统采集得到的图像文件存储存储到数据库中。多层次视域数据存储方案如图 2-5 所示

分布情况,存储位置,文件,数据节点

有两个静态方法能获得 FileSystem 接口的实例，分别为 public static FileSystemConfiguration conf）throws IOException 和 public static FileSystem get（URI nfiguration conf）throws IOException。第一个方法得到缺省的文件系统实例，由配件中 fs.default.name 属性指定。第二个方法由 URI 前缀指定创建的文件系统实例。HDFS 本身就是一个文件系统，在使用的时候不必关心文件具体存储在哪个数据上，这个工作由 Hadoop 底层来计算，存储使用 HDFS 逻辑统一的文件目录。如果查询文件存储的物理位置，可以通过页面查看或通过 API 实现查询。如上传一个大 455.2M 的文件到 HDFS 后，文件存储的分布情况如图 2-6 所示，HDFS 默认一个块的大小为 64M，因此这个文件被分配到 8 个数据块中存储。其中第 1 列显示的DFS 系统对文件分块生产的编号或标识。因为复制因子为 3，因此每个文件分块都个副本存放在不同的数据节点，其后 3 列数据就显示了每个文件分块及其副本具体在哪个数据节点。如果文件小于 64M（数据块的大小可以设置，默认为 64M），那件存储在同一个数据块中，，但是在不同的数据节点会存放该文件副本，副本的个数制因子决定（复制因子可以自己设置，默认为 3）。
【学位授予单位】：西北农林科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333;TP391.41

【参考文献】