基于卷积神经网络的奶牛个体身份识别方法：基于卷积神经网络的奶牛个体身份识别方法

  本文关键词：基于卷积神经网络的奶牛个体身份识别方法，由笔耕文化传播整理发布。

基于卷积神经网络的奶牛个体身份识别方法：基于卷积神经网络的奶牛个体身份识别方法

论文发表网　 发布时间：2016-07-20 12:19:28　 来源：网络整理　 浏览数：

本文关键词：基于卷积神经网络的奶牛个体身份识别方法，由论文发表网整理发布。

　　第 31 卷 2015 年
　　第5期 3月
　　农 业 工 程 学 报 Transactions of the Chinese Society of Agricultural Engineering
　　Vol.31 No.5 Mar. 2015
　　181
　　基于卷积神经网络的奶牛个体

身份识别方法
　　赵凯旋，何东健
　　※
　　（西北农林科技大学机械与电子工程学院，杨凌 712100） 摘 要：视频分析技术已越来越多地应用于检测奶牛行为以给出养殖管理决策，基于图像处理的奶牛个体身份识别方法 能够进一步提高奶牛行为视频分析的自动化程度。为实现基于图像处理的无接触、高精确度、适用性强的奶牛养殖场环 境下的奶牛个体有效识别，提出用视频分析方法提取奶牛躯干图像，用卷积神经网络准确识别奶牛个体的方法。该方法 采集奶牛直线行走时的侧视视频，用帧间差值法计算奶牛粗略轮廓，并对其二值图像进行分段跨度分析，定位奶牛躯干 区域，通过二值图像比对跟踪奶牛躯干目标，得到每帧图像中奶牛躯干区域图像。通过理论分析和试验验证，确定了卷 积神经网络的结构和参数，并将躯干图像灰度化后经插值运算和归一化变换为 48×48 大小的矩阵，作为网络的输入进行 个体识别。对 30 头奶牛共采集 360 段视频，随机选取训练数据 60 000 帧和测试数据 21 730 帧。结果表明，在训练次数 为 10 次时，代价函数收敛至 0.0060，视频段样本的识别率为 93.33%，单帧图像样本的识别率为 90.55%。该方法可实现 养殖场中奶牛个体无接触精确识别，具有适用性强、成本低的特点。 关键词：图像技术；算法；识别；卷积神经网络；深度学习；视频分析；奶牛；目标检测 doi：10.3969/j.issn.1002-6819.2015.05.026 中图分类号：TP391.41; S823.9+1 文献标志码：A 文章编号：1002-6819(2015)-05-0181-07 赵凯旋，何东健. 基于卷积神经网络的奶牛个体身份识别方法[J]. 农业工程学报，2015，31(5)：181－187. Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract)
　　0
　　引
　　言
　　发源于智能监控的视频分析技术已逐步深入到畜 禽养殖的许多领域[1-4]， 其中智能感知和识别奶牛的行为 并给出养殖管理决策支持成为当今研究的热点[5-8]。 个体 身份识别方法是自动分析奶牛行为的技术前提和应用 基 础 [9] 。 动 物 个 体 识 别 常 采 用 无 线 射 频 识 别 （ radio frequency identification，RFID）技术[10-12]。但 RFID 技术 识别视频视野中的奶牛个体时需要额外的设备与同步识 别方法，增加了奶牛行为视频分析系统的复杂度和成本 [13-15] 。然而奶牛视频中包含奶牛的个体信息，可直接对 视频进行图像处理实现奶牛个体识别[16-17]。因此，迫切 需要一种基于图像处理的高精度自动奶牛个体识别方 法，以提高行为检测的自动化程度并降低成本，进一步 提高视频分析技术在奶牛行为感知领域的实用性。 用图像处理与分析的方法实现奶牛个体身份识别已 引起学者的关注。 Xia 等[16]提出了一种基于局部二值模式 （local binary patterns，LBP）纹理特征的脸部描述模型， 并使用主成分分析（principal component analysis，PCA） 结合稀疏编码分类（sparse representation-based classifier，
　　收稿日期：2014-12-17 修订日期：2015-02-10
　　基金项目：国家自然科学基金面上项目（61473235） 作者简介：赵凯旋，男，博士生，研究方向为动物行为视频分析与感知。杨 凌 西北农林科技大学机电学院，712100。Email：zkx@nwsuaf.edu.cn ※通信作者：何东健，男，教授，研究方向为生物图像分析及识别、智能化 检测与控制。杨凌 西北农林科技大学机电学院，712100。 Email：hdj168@nwsuaf.edu.cn
　　SRC） 对奶牛脸部图像进行识别。 但识别系统对奶牛脸部 图像的拍摄位置和角度敏感，难以实现自动化识别。Kim 等[17]设计了一个基于奶牛身体图像特征的计算机图像系 统以识别奶牛个体，该系统使用纯色背景，提取奶牛的 身体区域图像，二值化后对图像进行分块处理得到 100 个特征值，构建 100×16×8 结构的人工神经网络，用 49 幅图像训练网络，10 幅图像测试网络性能。该系统证明 了使用身体图像识别奶牛是可行的。但是该系统试验环 境与奶牛实际养殖环境差别大，构建的神经网络结点数 较多，且训练与测试样本较少，易产生过学习，系统对 于环境光变化、图像平移与畸变的鲁棒性低。图像距离 量度法和尺度不变特征变换匹配算法（ scale invariant feature transform，SIFT）可用于奶牛个体身份识别。但 图像距离量度法依赖于图像特征的提取，对光线变化较 为敏感[18]，不适用于露天养殖的奶牛；在有前景遮挡的 情况下，SIFT 方法匹配准确率会受到影响[19]。基于深度 学习的卷积神经网络已成功应用到模式匹配的相关研究 中[20-21]，并表现出良好的抗干扰能力，具有应用到复杂 场景下奶牛个体识别的潜力。 因此，为提供一种在奶牛实际养殖环境下，基于图 像处理的非接触、低成本的奶牛个体识别方法，本文利 用视频中图像序列样本量充足这一特点，研究并提出基 于视频分析和卷积神经网络的奶牛个体识别方法，在设 计奶牛行走视频采集方案的基础上，对奶牛视频进行分 析，提取并跟踪奶牛运动过程中的躯干图像。根据躯干 图像的特点，设计卷积神经网络的结构和参数，用躯干
　　182
　　农业工程学报
　　2015 年
　　图像训练并测试网络性能，最终实现奶牛实际养殖环境 下的个体精确高效识别。
　　的片段，分别计算每个片段内二值图像真值的上边界和 下边界，并计算两者的差值作为图像跨度。
　　1
　　材料与方法
　　1.1 图像采集 试验视频采集自陕西杨凌科元克隆股份有限公司的 规模奶牛养殖场，采集于 2013 年 7 月至 8 月，拍摄对象 为健康的美国荷斯坦奶牛。奶牛会频繁地经过固定的窄 道行走至饮水池饮水，在与窄道平行的采食棚支撑梁上 安装 1 台 DS-2DM1-714 球型摄像机 （海康威视， 杭州） ， 使摄像机传感器与牛只行走方向基本平行，并调整视野 宽度大于 2 个牛身长度。奶牛目标与摄像机之间有栅栏 前景遮挡，栅格大小为 0.5 m×1.2 m。 在无雾、无霾的晴天 7：00－18：00 时段获取 30 头 奶牛的视频片段。奶牛个体全部出现在视野左侧时开始 采集，持续采集到奶牛行走至视野右侧边缘作为一个视 频段，并剔除包含奶牛停顿和异常行为的视频。每头奶 牛得到 12 段视频，共计 360 段视频，每段视频持续时长 约为 10 s。采集视频为 PAL 制式并保存在摄像机本地存 储卡内，帧率/码率为 25 fps/2 000kbps，分辨率为 704 像 素（水平）×576 像素（垂直）。 后续视频处理平台处理器为 Inter Quad Q8400，主频 为 2.66 GHz，4 GB 内存，500 GB 硬盘，算法开发平台为 MATLAB 2012a。 由于奶牛沿直线行走通过视野， 视频中 奶牛的活动区域固定在图像的中间区段，因此通过预设 的感兴趣区域（ROI ）参数剔除无效的图像区域。根据 30 头奶牛最大体高确定 ROI 区域的大小和位置，最终得 到的奶牛行走图像大小为 704 像素 （水平） ×242 像素 （垂 直）。 1.2 供试数据 将 30 头奶牛从 1 到 30 进行编号，对每头奶牛的 12 段视频随机挑选出 3 段作为测试样本，剩余视频作为该 奶牛个体的训练样本， 共得到 90 段测试用视频段， 及 270 段训练用视频段。每段视频持续时长为 10 s 左右，视频 帧率为 25 fps/s，经过视频分析与处理共得到奶牛躯干图 像约 90 000 幅。由于奶牛通过视野时运动速度有差异， 导致奶牛个体间的训练样本数不同。为避免样本量差异 对识别结果的影响，需要保证不同模式中参与训练的样 本数量基本一致，故从每个奶牛个体训练视频段的躯干 图像集中随机挑选出 2 000 幅作为该奶牛个体的训练集， 对于测试视频段中的图像则无需进行筛选。最终得到包 括 30 头奶牛躯干图像的训练图像为 60 000 幅， 测试图像 为 21 730 幅。 测试集中每个奶牛个体的图像数量在 650～ 850 之间，训练数据与测试数据之间无重叠。 1.3 提取躯干图像 1.3.1 躯干定位 帧间差值法对目标的运动边缘具有优良的检测性 能，对奶牛进行帧间差值处理可得到奶牛的粗略轮廓， 对得到的二值图像进行跨度分析，以剔除外部干扰，并 分割出尾巴、头和颈部，最终得到躯干区域。 如图 1 所示，将得到的帧间差值图像划分成等间距
　　Fig. 1
　　图 1 帧间差值图像分布跨度 Distribution of frames difference image
　　当各片段内边界和跨度值满足如式 （1） 所示条件时， 说明第 i 片段包含躯干区域，予以保留；否则视为无效片 段，清除该片段内的图像值。
　　? Ri = U i ? Di ? ? M r = max{R1 ,L , Rn } ? ? M u = max{U1 ,L ,U n } ?U > M ? T M u u r ? i ? ? Ri > Tr M r
　　（1）
　　式中：Ui 为第 i 片段内的上边界；Di 为第 i 片段内的下边 界；Tu 为躯干上边界偏移阈值；Tr 为躯干片断跨度阈值； n 为图像中片段的总数。 从样本库中随机选取 30 段视频进行统计分析知，当 Tu 及 Tr 分别取 0.06 和 0.4 时，能够去除大部分无用区域 并保留躯干片段。 计算修剪后的二值图像的外接矩形，其上半部分为 躯干区域，下半部分为奶牛四肢。对于荷斯坦品种的奶 牛，其躯干纵向高度与体高之比 rb/t 变化幅度较小[22]。因 此，本研究对 30 头奶牛通过试验确定 rb/t 平均值为 0.6。 将定位的躯干区域以中心为基点缩小到 80%，以去除边 界处的背景区块。躯干定位结果如图 2 所示。
　　Fig.2
　　图 2 奶牛躯干定位结果 Result of locating cows’ body
　　1.3.2 躯干跟踪
　　第5期
　　赵凯旋等：基于卷积神经网络的奶牛个体身份识别方法
　　183
　　考虑到奶牛行走过程中躯干无明显的几何变化，只 产生平移运动，故采用在后续帧中跟踪躯干的策略，以 提高躯干图像提取精度。常用的跟踪方法有粒子滤波跟 踪法[23]和 Meanshift 算法[24]， 粒子滤波对大目标跟踪耗时 长，不适于奶牛目标的跟踪；试验发现，Meanshift 算法 不能准确跟踪行走中的奶牛目标。主要原因是基于颜色 直方图的 Meanshift 算法对于颜色变化敏感，奶牛躯干主 要由白色和黑色组成，而背景中包含了过多的颜色信息， 导致 Meanshift 极易跟踪到背景区域。因此，本文用模板 比对法对奶牛躯干区域进行跟踪。其基本原理是以当前 帧躯干区域所在的位置为中心，在下一帧中寻找与躯干 区域最接近的图像。 设已定位的奶牛躯干区域为 A， 并从 原图像中提取躯干的 RGB 图像 f0 作为跟踪的基准图像。 在下一帧图像中，以 A 为中心向 4 周扩展 10%得 Ap，对 Ap 内所有子图像 fm 与 f0 按式（2）进行差异度比对评价， 以最接近 f0 的子图作为跟踪结果。
　　? bf 0 = gf 0 > T ? ? bf m = gf m > T （2） ? ? bx = bitxor(bf 0 , bf m ) ? ?ra = NT(bx) / NF(bx) 式中：gf0 为 f0 的灰度图像；gfm 为 fm 的灰度图像；T 为奶 牛白色体斑灰度阈值；bitxor 为对 2 个二值图像进行按位 异或操作；NT 为计算矩阵中值为 1 的元素个数；NF 为 计算矩阵中值为 0 的元素个数；ra 为图像比对评价值， ra 越小表明 f0 和 fm 越接近。 式 （2） 中 ra 值实质上是目标二值图像与待比较二值 图像中非重叠区域与重叠区域的面积比。每次跟踪开始 时对 gf0 采用 OTSU 方法得到二值化阈值 T，为保证二值 图像的可比性， 对所有子图 gfm 使用相同的阈值 T 进行二 值化。用式（2）计算的图像评价值能够有效地找出新的 躯干图像，且方法耗时短。奶牛沿直线行走时侧视图像 中，奶牛躯干区域变形可忽略不计，故模板比较法跟踪 准确度高，可实现实时稳定跟踪。 1.4 卷积神经网络构建 卷积神经网络 （convolutional neural networks， CNNs） 是基于深度学习理论的一种人工神经网络，由于该网络 可直接将图像数据作为输入，避免了图像预处理和特征 抽取等复杂操作[25]。 LeNet-5 是一个典型的卷积神经网络 应用案例，准确性高、可用性强，已被美国多家银行用 于支票手写数字的识别[26]。 将每头奶牛视为一种模式，奶牛个体识别即对某一 未知奶牛图像进行识别和匹配，其群体中奶牛的头数为 识别模式的个数，该过程与手写字符的识别相似，因此 LeNet-5 能够应用于奶牛个体识别。但是奶牛躯干图像不 同于手写数字图像。首先，手写图像的有效信息集中在 图像的字迹上，而奶牛躯干图像的特征遍布于整个图像 区域内；其次，字符的特征主要为图形的角点和定向边 缘，而奶牛个体间的特征为图像特定灰度值像素的形状 和分布。此外，由于手写数字的有效信息在图像中的位 置是不确定的，因此要求网络具有较强平移不变性，但
　　由目标跟踪得到奶牛躯干图像的偏移量较小。手写数字 识别与奶牛个体识别的侧重点也不同，前者在于不同变 形下特定结构的图形特征提取与识别，后者在于不同光 照环境下的图像重建与匹配。基于以上分析，针对奶牛 躯干图像和个体识别的特点，构建适用于奶牛个体识别 的卷积神经网络。 本研究中，为减少数据量并保证输入图像的细节信 息， 将奶牛躯干图像灰度化后通过插值计算变化为 48×48 的图像，并除以 255 归一化后作为输入数据。 采用 2 组卷积和下采样层，由于躯干图像基本不存 在扭转、变形等影响，因此减少 2 个卷积层中特征图的 数量，以提高网络对图像宏观信息的利用率。下采样时 对连接区域求均值得到输出，不使用权重系数和阈值， 省略函数转换过程。 奶牛个体识别中的信息匹配可以通过单层感知器实 现，在第 2 次下采样后直接与输出层连接，以大幅度简 化网络中的感知层。本研究牛群中共有 30 头奶牛，故输 出层为 30 个感知器，与上一层全连接，输出编码采用 one-of-c 方式，即每种奶牛个体作为一个模式。 考虑到 sigmoid 函数有良好的非线性映射特性， 故变 换函数统一采用 sigmoid 函数。 网络训练中学习率取为 1， 训练批大小为 50， 训练终止条件为代价函数值小于 0.01。 由于变换函数为 sigmoid 函数， 故网络输出为一个长度为 30 的浮点型向量，将该向量中最大值置为 1，其余元素 置 0 作为网络的输出模式。若输出模式与该输入图像的 真实模式不匹配，则表明识别错误，全国10大论文网，值得信赖。 为进一步确定卷积层特征图最佳个数，对不同结构 的卷积神经网络进行识别准确率及平均耗时试验，结果 表明，当两个卷积层中特征图个数分别为 4 和 6 时，网 络识别率和效率最高。最终本研究选取的卷积神经网络 的结构如图 3 所示。
　　注：C1、S2、C3 和 S4 分别为第 1 卷积层、第 2 下采样层、第 3 卷积层和 第 4 下采样层。 Note: C1, S2, C3, and S4 are the 1st convolutional layer, 2nd subsampling layer, 3rd convolutional layer, and 4th subsampling layer, respectively.
　　Fig.3
　　图 3 奶牛个体识别网络结构示意图 Net architecture for individual cow discrimination
　　C3 层与 S2 层之间通常采用不完全的连接机制，以 减少训练参数的数量，并破坏网络的对称性，保证提取 的特征具有变异性和互补性。根据非对称和交错原则制 定的连接方式如表 1 所示。由表 1 第 1 列可知，C3 层第 1 个特征图与 S2 层第 1 和第 2 特征图连接，对 C3 层中 相连接的区域进行卷积操作，经转换函数后得到输出。
　　184 表 1 S2 层与 C3 层连接方式 Connection pattern between S2 and C3 layer
　　C3 层图像 Maps in C3 1 × × × × × × × 2 3 4 × 5 × × × ×
　　农业工程学报
　　2015 年
　　平均耗时短，能够满足实时识别的要求。
　　表 3 卷积神经网络的识别准确率及效率 Table 3 Discrimination rate and efficiency of CNNs
　　网络结构 Net architecture 4c-2s-6c-2s-30o-p 准确率 Recognition rate/% 单帧 视频段 In frame In video 90.55 93.33 平均耗时 Elapsed time/s 单帧 视频段* In frame In video 0.0091 59.8550
　　Table 1
　　S2 层图像 Maps in S2 1 2 3 4 注：×表示相连接。 Note: × is connection.
　　6 × × × ×
　　注：*，躯干定位和跟踪的用时。 Note: *, the time of body locating and tracking.
　　卷积神经网络中，决定网络结构的参数为卷积层特 征图个数和下采样大小。为方便描述网络结构，用数字 结合字母表示网络的基本参数， 分别以字母 p 和 a 表示网 络中是否存在部分连接的特征层，因此本文的网络结构 可表示为 4c-2s-6c-2s-30o-p。 1.5 传统图像检索方法 本研究中奶牛个体识别是典型的图像检索问题，即 在已建立索引的目标图像集合中找到与未知图像相近的 图像。为进一步比较卷积神经网络与传统的图像检索方 法的优劣，本文对图像距离量度法[27]和尺度不变特征变 [28] 换匹配算法 （SIFT） 2 种常见的图像索引方法进行对比 研究，本站提供优质的硕士论文发表服务，希望可以帮到你。 图像距离量度方法中通常先提取图像的特征值序 列，然后计算待比较图像与目标图像集合中各已知图像 的距离值，选取与未知图像距离最小的目标图像作为匹 配与识别的结果。本研究中，用图像的灰度直方图向量 （分段数为 10）和 LBP 纹理特征向量作为图像的特征值 序列，用 Housdorff 距离量度方法[29]计算图像间相近度。 在目标图像集合中，与未知图像相近度值最高的图像索 引值即为识别结果。 SIFT 是基于局部特征的图像匹配算法，分为关键点 寻找和关键点匹配 2 个步骤[30]。对比试验中，算法的关 键参数取值见表 2。 两幅图像中成功匹配的关键点数量越 多，说明 2 幅图像越相似，匹配度越高。
　　表 2 SIFT 算法中关键参数的选取 Table 2 Values of key parameters in SIFT method
　　参数描述 Parameters 尺度空间个数 Number of octaves 分层数 Number of levels 点阈值 Point Threshold 边缘阈值 Edge Threshold 数值 Values 4 3 0.03 18 参数描述 Parameters 空间分块数 Number of spatial bins 方向分块数 Number of orient bins 图像扩充因子 Magnification 匹配阈值 Ratio Threshold 数值 Values 4 8 3 0.75
　　90 段测试视频中 6 段视频被误识别，图 4 显示了发 生 3 次错误交叉识别的 16 号和 30 号奶牛的躯干图像。 由图 4 可知，误识别的主要原因在于奶牛躯干图像过于 相似。图像灰度化、插值变化、下采样等操作均会损失 细节信息，导致网络难以区别过于相似的图像。同时， 当奶牛躯干以白色或黑色为主体颜色时，可用于区分奶 牛个体的信息较少，易发生错误识别。
　　图 4 发生错误交叉识别的奶牛躯干图像 Fig.4 Body images of crisscross recognized cows
　　鉴于以上分析，为进一步提高识别率，对于躯干图 像比较接近，尤其是接近纯色的奶牛个体，可以通过在 奶牛躯干上添加标志符号的方法以增加个体特征信息， 以保证相似的奶牛个体间具有一定的差异度。 2.2 特征图分析 与图 3 中所示的网络结构相对应，图 5 用灰度图像 显示了奶牛躯干图像在卷积神经网络的卷积层和下采样 层中对应各个特征图的变换结果， 各矩阵数据分布于 0～ 1 之间，数值 1 显示为白色，0 显示为黑色。
　　2
　　结果与分析
　　2.1 识别结果与分析 使用训练集样本训练网络，当训练到第 10 次时，网 络代价函数收敛至 0.0060。用测试样本集中 90 段视频共 计 21730 幅图像对网络进行验证，结果如表 3 所示。由 表 3 可知，网络能够以较高的可靠性（准确性 90.55%和 93.33%）识别出未知图像或者视频中的奶牛个体。同时
　　a. 卷积（全连接 ） b. 下采样 c. 卷积(部分连接) d. 下采样 a. Convolutions (full connection) b. Subsampling c. Convolutions (part connection) d. Subsampling
　　图5
　　卷积神经网络中各层的处理结果示例 Fig.5 Results in each layer of CNNs
　　第5期
　　赵凯旋等：基于卷积神经网络的奶牛个体身份识别方法
　　185
　　通过比较图 5 中 C1 层与输入图像可知， 卷积操作具 有平滑图像的效果，能够降低遮挡干扰、增强信号特征。 C1 和 C3 卷积层特征图像将上层图像映射到不同的灰度 值区间内，实现自动亮度调制，表明网络所提取的特征 分布在不同的灰度空间域内，该特性保证了网络对于不 同光照条件的鲁棒性。由于图像像素间的相关性，故在 S2 和 S4 下采样层对图像进行抽样，可以减少数据处理 量，同时保留主要图像信息，并提高网络的抗畸变能力。 2.3 与传统图像检索方法的比较 用卷积神经网络中的训练集图像作为图像检索的目 标图像集合，测试集图像作为未知的图像样本，对 3 种 方法的性能进行比较，奶牛个体识别的准确率及耗时如 表 4 所示。
　　表 4 图像检索法与卷积神经网络奶牛个体识别结果比较 Table 4 Comparing of image indexing method and CNNs for individual discrimination of cows
　　方法 Methods 图像距离度量法 Image comparing SIFT 匹配法 SIFT method 卷积神经网络 CNNs 准确率 Recognition rate/% 32.95 37.89 90.55 平均耗时 Time/s
　　段视频共 21730 幅图像的识别结果表明，单幅图像的识 别率为 90.55%，视频段的识别率为 93.33%。网络对环境 光变化和小区域前景遮挡有较强的鲁棒性。测试样本和 训练样本没有重叠，表明网络具有较强的泛化能力。 与其他图像检索方法相比，卷积神经网络具有耗时 短、 鲁棒性高的优点， 但图像细节信息分辨能力低于 SIFT 方法。今后的研究中可将 SIFT 方法得到的关键点的方向 参数作为网络的输入，以提高网络对于纯色奶牛躯干图 像的特征提取能力，进一步提高奶牛个体识别的准确率。
　　[参 考 文 献] 王玲，王超峰，郑奎. 基于 ARM 的蛋鸡养殖场网络视频 监控系统设计[J]. 农业机械学报，2012，43(2)：186－191. Wang Ling, Wang Chaofeng, Zheng Kui. Design and implementation of network video surveillance system for laying hens farm based on ARM[J]. Transactions of the Chinese Society of Agricultural Machinery (Transactions of the CSAM), 2012, 43(2): 186－191.(in Chinese with English abstract) 朱伟兴，浦雪峰，李新城，等. 基于行为监测的疑似病猪 自动化识别系统[J]. 农业工程学报，2010，26(1)：188－ 192. Zhu Weixing, Pu Xuefeng, Li Xincheng, et al. Automatic identification system of pigs with suspected case based on behavior monitoring[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(1): 188－192.(in Chinese with English abstract) [3] 纪滨，朱伟兴，刘波，等. 基于脊腹线波动的猪呼吸急促 症状视频分析[J]. 农业工程学报，2011，27(1)：191－195. Ji Bin, Zhu Weixing, Liu Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdome[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 191－ 195.(in Chinese with English abstract) 朱伟兴，纪滨，秦锋. 基于伪球算子边缘模型的猪前景帧 检测[J]. 农业工程学报，2012，28(12)：189－194. Zhu Weixing, Ji Bin, Qin Feng. Detection of foreground-frame of pig using edge model based on pseudosphere-operator[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(12): 189－194.(in Chinese with English abstract) [5] 赵凯旋，何东健，王恩泽. 基于视频分析的奶牛呼吸频率 与异常检测[J]. 农业机械学报，2014，45(10)：258－263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society of Agricultural Machinery (Transactions of the CSAM), 2014, 45(10): 258－263.(in Chinese with English abstract) Viazzi S, Bahr C, Schlageter-Tello A, et al. Analysis of individual classification of lameness using automatic measurement of back posture in dairy cattle[J]. Journal of Dairy Science, 2013, 96(1): 257－266. Porto S, Arcidiacono C, Anguzza U, et al. A computer vision-based system for the automatic detection of lying
　　[1]
　　[2]
　　0.2228 17.5247 0.0091
　　图像距离度量法中，基于像素灰度值的图像特征对 图像变形、光线、视角等变化敏感，因此对于露天养殖 的奶牛个体识别准确率较低。SIFT 方法较图像距离量度 法精度有所提高，而且对于外表接近的奶牛也具有更高 的识别率， 说明 SIFT 方法具有较强的细节信息提取能力。 但 SIFT 方法的整体识别率仍偏低，这是由于某些复杂的 奶牛躯干图像通常包含过多的冗余关键点，发生错误匹 配的可能性也随之增大。同时，本研究中奶牛养殖环境 复杂，在有前景遮挡的情况下，SIFT 方法的鲁棒性下降。 由于 SIFT 方法的计算量大，当奶牛群体较大时，难以实 现实时识别。综上所述，卷积神经网络具有较强的抗外 界干扰能力，且识别过程耗时短，对光线变化、前景遮 挡均具有较高的鲁棒性。但卷积神经网络方法对于接近 纯色的相似奶牛图像的细节信息提取能力处于图像距离 度量法和 SIFT 方法之间。
　　[4]
　　3
　　结
　　论
　　1 ）帧间差值法能够检测奶牛的运动边缘及粗略轮 廓。对轮廓的二值图像进行分段跨度分析，可以剔除尾 巴、头部以得到躯干区域。 2）基于二值图像比对的模块跟踪方法能够实现奶牛 在复杂环境中的时实准确跟踪，较 Meanshift 方法具有更 强的抗背景干扰能力。以非重叠区域与重叠区域的面积 比作为图像比较的评价值，能够快速准确的在新一帧图 像中定位目标区域。 3）构建 4c-2s-6c-2s-30o 结构的卷积神经网络，对 90
　　[6]
　　[7]
　　186
　　农业工程学报
　　2015 年 Asian-Australasian Journal of Animal Sciences, 2005, 18(8): 1194－1198.
　　[8]
　　[9]
　　behaviour of dairy cows in free-stall barns[J]. Biosystems Engineering, 2013, 115(2): 184－194. Viazzi S, Bahr C, Van Hertem T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture, 2014, 100(1): 139 －147. Yajuvendra S, Lathwal S S, Rajput N, et al. Effective and accurate discrimination of individual dairy cattle through acoustic sensing[J]. Applied Animal Behaviour Science, 2013, 146(1-4): 11－18. 殖溯源信息采集与传输方法 [J]. 农业工程学报， 2011 ，
　　[18] 郑永斌，黄新生，丰松江. SIFT 和旋转不变 LBP 相结合的 图像匹配算法[J]. 计算机辅助设计与图形学学报，2010， 22(2)：286－292. Zheng Yongbin, Huang Xinsheng, Feng Songjiang. An image matching algorithm based on combination of SIFT and the rotation invariant LBP[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(2): 286－292.(in Chinese with English abstract) [19] 邱鹏，赵和鹏，朱长仁. 部分遮挡目标的稳健局部特征点 提取方法[J]. 现代电子技术，2013，36(22)：76－80. Qiu Peng, Zhao Hepeng, Zhu Zhangren. Extraction method of robust local feature points of partially?occluded object[J]. Modern Electronics Technique, 2013, 36(22): 76 － 80.(in Chinese with English abstract) [20] 余永维，殷国富，殷鹰，等. 基于深度学习网络的射线图像 缺陷识别方法[J]. 仪器仪表学报，2014，35(9)：2012－2019. Yu Yongwei, Yin Guofu, Yin Ying, et al. Defect recognition for radiographic image based on deep learning network[J]. Chinese Journal of Scientific Instrument, 2014, 35(9): 2012 －2019.(in Chinese with English abstract) [21] 高学，王有旺. 基于 CNN 和随机弹性形变的相似手写汉 字识别[J]. 华南理工大学学报(自然科学版)，2014，42(1)： 72－76. Gao Xue, Wang Youwang. Recognition of similar handwritten Chinese characters based on CNN and random elastic deformation[J]. Journal of South China University of Technology (Natural Science Edition), 2014, 42(1): 72 － 76.(in Chinese with English abstract) [22] 储明星，师守坤. 奶牛体型线性评定及其应用[M]. 北京： 中国农业科技出版社，1999. [23] Rathi Y, Vaswani N, Tannenbaum A, et al. Tracking deforming objects using particle filtering for geometric active contours[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(8): 1470－1475. [24] Leichter I. Mean Shift Trackers with Cross-Bin Metrics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 695－706. [25] 赵志宏，杨绍普，马增强. 基于卷积神经网络 LeNet-5 的车 牌字符识别研究[J]. 系统仿真学报，2010，22(3)：638－641. Zhao Zhihong, Yang Shaopu, Ma Zengqiang. License plate character recognition based on convolutional neural network lenet-5[J]. Journal of System Simulation, 2010, 22(3): 638－ 641.(in Chinese with English abstract) [26] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278－2324. [27] Huttenlocher D P, Klanderman G A, Rucklidge W J. Comparing images using the Hausdorff distance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15(9): 850－863. [28] 刘小军， 杨杰， 孙坚伟， 等. 基于 SIFT 的图像配准方法[J]. 红外与激光工程，2008，37(1)：156－160.
　　[10] 庞超，何东健，李长悦，等. 基于 RFID 与 WSN 的奶牛养 27(9)：147－152. Pang Chao, He Dongjian, Li Zhangyue, et al. Method of traceability information acquisition and transmission for dairy cattle based on integrating of RFID and WSN[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(9): 147－ 152.(in Chinese with English abstract) [11] 耿丽微，钱东平，赵春辉. 基于射频技术的奶牛身份识别 系统[J]. 农业工程学报，2009，25(5)：137－141. Geng Liwei, Qian Dongping, Zhao Chunhui. Cow identification technology system based on radio frequency[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(5): 137－ 141.(in Chinese with English abstract) [12] 郭卫，钱东平，王辉，等. 奶牛身份射频识别系统的防冲 突技术[J]. 农业工程学报，2009，25(11)：222－225. Guo Wei, Qian Dongping, Wang Hui, et al. Anti-collision technique in the radio-frequency identification system for dairy cattle[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(11): 222－225.(in Chinese with English abstract) [13] 熊本海，钱平，罗清尧，，等. 基于奶牛个体体况的精细饲 养方案的设计与实现[J]. 农业工程学报，2005，21(10)： 118－123. Xiong Benhai, Qian Ping, Luo Qingyao, et al. Design and realization of solution to precision feeding of dairy cattle based on single body status[J]. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2005, 21(10): 118－123.(in Chinese with English abstract) Hoffmann G, Schmidt M, Ammon C, et al. Monitoring the body temperature of cows and calves using video recordings from an infrared thermography camera[J]. Veterinary Research Communications, 2013, 37(2): 91－99. Chapinal N, Tucker C B. Validation of an automated method to count steps while cows stand on a weighing platform and its application as a measure to detect lameness[J]. Journal of Dairy Science, 2012, 95(11): 6523－6528. Xia M, Cai C. Cattle face recognition using sparse representation classifier[J]. ICIC Express Letters, Part B: Applications, 2012, 3(6): 1499－1505. Kim H T, Choi H L, Lee D W, et al. Recognition of individual Holstein cattle by imaging body patterns[J].
　　[14]
　　[15]
　　[16]
　　[17]
　　第5期
　　赵凯旋等：基于卷积神经网络的奶牛个体身份识别方法
　　187
　　Liu Xiaojun, Yang Jie, Sun Jianwei, et al. Image registration approach based on SIFT[J]. Infrared and Laser Engineering, 2008, 37(1): 156－160.(in Chinese with English abstract) [29] 薛弘晔，李言俊，张科. 加权 Hausdorff 距离蚁群算法寻 优的红外图像匹配[J]. 红外技术， 2007， 29(12)： 708－711. Xue Hongye, Li Yanjun, Zhang Ke. The infrared image
　　match of weighted Housdorff distance ant colony algorithm of seeking optimal path[J]. Infrared Technology, 2007, 29(12): 708－711.(in Chinese with English abstract) [30] David G L. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91－110.
　　Recognition of individual dairy cattle based on convolutional neural networks
　　Zhao Kaixuan, He Dongjian※
　　(College
　　of Mechanical and Electronic Engineering, Northwest A&F University, Yangling 712100, China)
　　Abstract: Video analysis has been widely used to perceive the behavior of animals for precise dairy farming, which is useful to increase the productivity and reduce the disease rate. Using computer vision technique to recognize the individual cow is feasible to improve the efficiency of the automatic milking and feeding system. Effective and accurate recognition of individual dairy cattle is the prerequisite and foundation to record and analyze the animal behavior automatically. As the classic method of individual recognition, the typical electronic identification device, referred to a radio frequency identification device (RFID), must be installed on the neck or another position of the animal. But the available distance is limited and the RFID tags suffer from some shortages such as the loss of tags, tempering, and animal welfare. Besides, it requires extra device and redundant process to recognize the individual cow in a video using RFID method. Therefore, it is necessary to develop an accurate and efficient system for recognizing individual cows in feeding environment utilizing image processing method. In this paper, individual dairy cattle were recognized using the body images based on convolutional neural networks with video analysis method. Side-view images with a resolution of 704 pixels ×576 pixels were recorded when cows passed a narrow aisle to water trough. For target detecting, the frame difference method was implemented to obtain the outline and motion boundary of the cow. By dividing the target image into several same-width sections, the head and tail were removed from the image after checking the distribution of the target in the section. Because the ratio of the body’s depth to cow’s height was fixed at 0.6, the body area was located by drawing a box tangent to the back posture and then zoomed out 0.8 times of it to remove the external redundancy. For tracking the body image, template matching method was used to find the body area in the current frame by calculating the similarity against the target image in the previous frame. A convolutional neural network was built after analyzing the characteristics of the body images of cows. The network consisted of one input layer, two group of convolutionsubsampling layers, and one output layer. The size of convolutional kernel was 5×5, and the subsampling size was 2×2. After testing different types of network architecture, the number of the feature maps in the first and third convolution layer were determined as 4 and 6, respectively, and the third convolution layers was partly connected to the second subsampling layer. The output layer was built up with 30 perceptrons, corresponding to the patterns of cows in the herd. After graying, resizing and normalizing, the body image of cow was transferred into a matrix sized 48×48 as the input of the network. 30 cows were captured 12 times for each, and 360 sets of videos were obtained in total, from which 60000 training frames, 21730 testing frames and 90 testing videos were selected randomly. In the tenth training epoch, the cost function was first less than 0.01. The result showed that 90.55% of the testing frames and 93.33% of the testing videos were recognized correctly, respectively. The testing data were captured from 7 a.m. to 6 p.m., so the network presented high robustness to the lightness diversity. The average elapsed time for recognizing one frame was lower than 0.01 s, and the total elapsed time for processing and recognizing one video was about 1 min, which showed a remarkable working efficiency and practicability. It suggested that the methods proposed here are feasible to recognize the individual dairy cattle. This study proves that the image processing technique has a great potential for recognition of animals. Key words: image technique; algorithms; identification; convolutional neural networks; deep learning; video analysis; dairy cattle; target detection
　　
　　

本文关键词：基于卷积神经网络的奶牛个体身份识别方法，由论文发表网整理发布。

本文来自论文发表网，转载请注明本文网址：

  本文关键词：基于卷积神经网络的奶牛个体身份识别方法，由笔耕文化传播整理发布。