视觉语言识别的嘴唇分割及特征提取方法研究

发布时间：2023-06-03 11:32

　　近年来,随着人机交互技术的日益发展,各种智能设备纷纷出现,人工智能已经正式成为信息领域的研究热点。作为人机交互技术中相对成熟的语音识别技术,已逐步渗透到社会生活的各个领域,改变着人们的生活方式。但是在周围有噪声的情况下,基于音频的语音识别的识别率就会急剧下降,甚至完全无法识别说话者所说的话语内容。人们在进行对话交流时,视觉唇动信息也可以反映话语内容信息。因此,研究者们开始致力于基于唇动视觉特征的话语内容识别研究,也就是视觉语言识别技术研究。该技术将在弥补语音识别技术的缺陷方面发挥重要作用。本文重点研究视觉语言识别系统中两个关键技术,即嘴唇分割和特征提取。在嘴唇分割方面,首先利用OpenCV检测技术对包含有人脸的图像进行检测,分割出嘴唇区域,并进行色彩空间的变换。然后在三个色彩空间RGB、HSV和chromatic中进行色彩增强,色彩分割和嘴角定位等操作。最后利用细菌觅食优化算法和以Kapur最大熵法为适应度函数对输入图像求取最佳阈值并分割,得到精确的嘴唇二值图像。在唇部视觉特征提取方面,由于不同种族肤色的差异,以及同一人在不同光照强度和不同色光下映射肤色不同等因素,使得图像的像素特征失...

【文章页数】：57 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 选题背景和意义
    1.2 国内外研究现状和发展
    1.3 本文研究的主要内容
    1.4 本文的组织结构
第二章 嘴唇区域定位
    2.1 人脸区域的检测与提取
        2.1.1 OpenCV技术
        2.1.2 人脸图像Haar特征介绍
        2.1.3 AdaBoost级联分类器
        2.1.4 人脸区域的检测和定位
    2.2 嘴唇区域的定位和提取
    2.3 本章小结
第三章 细菌觅食优化算法
    3.1 细菌觅食算法原理
    3.2 自适应步长的细菌觅食优化算法的基本步骤
    3.3 适应度函数的设计-最优阈值法
    3.4 本章小结
第四章 嘴唇的精确分割
    4.1 基于三色彩空间中的嘴唇分割
        4.1.1 在RGB色彩空间中的嘴唇区域分割
        4.1.2 在HSV色彩空间中的嘴唇区域分割
        4.1.3 在chromatic色彩空间中的嘴唇区域分割
    4.2 本章小结
第五章 唇部视觉特征提取
    5.1 嘴唇边缘关键点提取
        5.1.1 外嘴唇边缘关键点提取
        5.1.2 内嘴唇边缘关键点提取
    5.2 最小二乘法简介
    5.3 嘴唇外轮廓的提取
        5.3.1 建立嘴唇轮廓模型
        5.3.2 凸包算法
        5.3.3 嘴唇外轮廓提取
    5.4 嘴唇视觉动态特征提取
    5.5 经典的GVF Snake嘴唇轮廓模型算法
    5.6 实验结果与分析
    5.7 本章小结
第六章 结论
参考文献
在学期间的研究成果
致谢



本文编号：3829253