基于图像分析和深度学习的船名标识字符检测与识别研究

发布时间：2020-03-28 00:01

【摘要】：水路航运自古以来就是人类最重要的交通运输方式之一。在经济全球化的当今时代,水路航运承担着全球三分之二以上的贸易货物运输量。随着船舶使用量的不断增长,船舶碰撞、违法逃逸、海洋环境污染等一系列水路交通事故的发生频率也越来越高。如何对船舶进行准确身份识别、加强水路交通监管、提高水路运输安全性具有重要研究价值。图像分析、深度学习等人工智能相关技术在车牌识别、自动驾驶等陆路智能交通系统中已经取得了许多重要进展。然而,相关技术在水路智能交通领域的应用仍然比较缺乏。船舶是水路航运最重要的载体。船名标识是船舶最重要的身份识别信息之一。船名标识字符的自动化识别可以为船舶身份识别和船舶交通行为监控等任务提供有力的技术支持。本文对基于图像分析和深度学习的船名标识字符检测与识别这一课题做了一定的探索,主要工作总结如下:(1)提出两个船名标识字符基准数据集——ZJUSHIPS950和ZJUSHIPS60K,并提出了较为科学的船名标识字符检测与识别算法评价标准,解决了船名标识字符基准数据集和算法评价标准缺失的问题。ZJUSHIPS60K船名标识数据集包含67873张可用于船名标识检测算法测试和训练的船舶图片,同时包含了 39053张可用于船名标识识别算法测试和训练的船名标识图片。ZJUSHIPS60K包含的图片由智能交通摄像机实景抓拍。ZJUSHIPS950是一个包含多种类船舶的船名标识检测数据集,其包含了 950张货船、客轮、游艇、军舰等船舶的图片。以上船舶图片在获取时考虑了不同船舶类型、不同船名标识风格、不同图片分辨率、不同背景、不同季节、不同时段、不同光照、不同角度等影响因素。所有船名标识被人工进行了标注,以用于算法的训练和测试。统计和分析表明,以上两个船名标识数据集,特别是ZJUSHIPS60K,在数据分布上比较均衡、比较具有代表性。目前,ZJUSHIPS950和ZJUSHIPS60K数据集已经开源。(2)提出了一个引入格式塔理论的多语种船名标识字符检测方法。格式塔理心理学是西方现代心理学的重要流派之一,其不仅揭示了人类对外界事物的感知方式,也反映了人类以符合格式塔完型规则的方式来设计和制造事物。船名标识往往体现出较强的“格式塔”特征。不同船舶的不同语种船名标识包含的字符在颜色、字体、大小、宽高比和数量等方面经常表现出较大差异性,这种差异性给船名标识的检测任务带来较大困难。通过对船名标识字符更抽象的“格式塔”特征的分析和提取,我们提出一个在更高层次上对船名标识进行检测的方法。具体地,我们首先对船名标识字符的格式塔特征进行了总结。然后,通过设计合理的度量算法,分别进行了多语种文本粗检测、船名标识字符精定位、伪船名标识字符去除和漏检字符补全过程。最后,在ZJUSHIPS950数据集上的实验测试结果验证了该多语种船名标识字符检测算法的有效性。(3)提出了一个基于深度卷积神经网络迁移学习的船名标识字符检测方法。在进行船名标识检测时,船名标识的数据量不足、字符过小、尺度复杂和多行印刷特点也具有较大挑战性。首先,针对数据量不足的问题,我们基于深度卷积神经网络迁移学习的船名标识字符检测思路,分别进行了参数迁移学习和关系迁移学习。其次,针对符过小、尺度复杂问题,提出了模型金字塔船名标识字符检测机制,通过构建一个模型金字塔来进行小分辨率、多尺度船名标识字符的检测。最后,针对船名标识字符多行印刷问题,进行了船名标识字符检测结果后处理。实验结果表明,迁移学习、模型金字塔和检测结果后处理三者协调统一、相互补充,它们在整体上能取得较高检测准确率,同时还能保证较低的误报率。(4)提出了一个包含不定长字符的多行印刷船名标识布局归一化与非分割式识别方法。在设计船名标识字符识别算法时,船名标识字符的多行印刷、长度不固定和难以分割问题是我们面临的主要难点。针对以上难点,我们首先提出了一个船名标识字符归一化算法,通过算法将多行印刷的船名标识字符归一化到相对水平的同一行,提高船名标识的可识别性。然后,基于联结主义时序分类模型,提出一个基于深度卷积循环神经网络的船名标识字符识别模型,该模型由卷积层、空间变换层、循环层和转录层四个子模块组成。最后,在ZJUSHIPS60K船名标识字符识别数据集上的实验表明,该模型在船名标识字符识别任务上取得了较高的识别准确率和较低的平均编辑距离,超越了相关方法。
【图文】：

数据集中,标识字符

浙江大学博士学位论文逦第１章绪论逡逑［１２］等通过采用双线性空间变换和弧度插值等方法对船名字符识别系统中的变形逡逑矫正方法进行了研宄。Ｚｈｕ等［１３］提出了一个针对船名识别的定制化字符识别系统。逡逑综上，，在本文中，我们以船舶的船名标识字符为突破口，希望运用先进的图逡逑像分析和深度学习等技术，通过对船名标识字符的检测和识别等任务的研宄，为逡逑水路智能交通中非常重要的船与船（船与岸）相互通信与数据交换、船舶身份识逡逑别以及船舶交通行为监控等重要课题提供一些基于计算机视觉和人工智能相关逡逑技术的新思路和新方法。具体地，本文重点研究自然场景下船名标识字符的检测逡逑和识别任务。给定输入图片，船名标识字符检测任务是指通过计算机算法将图片逡逑包含的船名标识区域的具体坐标位置找出来。在此基础上，船名标识字符识别任逡逑务是指通过设计和实现合理的算法将检测到的船名标识区域中包含的具体字符逡逑信息识别出来。以上内容构成了本文研究的主要出发点。逡逑

数据集中,船舶,背景,标识字符

ＷｔＡ逦氃？！ｉ！ｉ！圆邋ｍｊｘｎｉ；：ｉｚｃ邋ＷＹＭＡＩＨｆ？逡逑（ｂ）逡逑图１．邋１本文数据集中的部分船名标识。（ａ）部分中国船舶的船名标识（ｂ）不同国家的货船、逡逑游艇、军舰、客轮等的船名标识逡逑１．邋２．邋２主要挑战逡逑在进行船名标识字符检测和识别时，主要的挑战可以归纳为船名标识本身的逡逑４逡逑
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;U492

【参考文献】