Lip-reading Based on Hidden Markov Model

发布时间：2022-07-27 19:38

　　科技发展的惊人速度为更多的新型智能设备诞生提供了可能。在过去几十年里,科学家致力于语音识别的研究并获得了巨大的成功。被广泛运用的语音识别技术成为了最方便、最有效率的新型人机交互方式。然而,语音识别在许多场合下并不可靠。这是因为语音识别只收集说话者的音频信号。这就对说话者的所处环境和说话者的发音准确度有很高的要求。当我们在吵杂的环境下使用语音识别,往往会得到错误的输入结果。在这种环境下我们不仅需要使用语音表达我们的信息,同时还要通过视觉信息如口型、表情和动作配合理解。有时候在噪声足够大的情况下,视觉信息比声音信号更加的重要。不满足于传统交互方式的人们产生了对新型人机交互技术的需求,唇读技术就是一个新型人机交互技术的热点。唇读在许多场景下拥有很大的使用价值,例如提升高噪声环境下的语音识别准确度、帮助语言交流障碍者交流和保障公共场合安全。传统的唇读是指通过观察说话者在发音的过程中的唇部变化,推断出说话的内容。计算机的唇读是指通过建立唇读模型并分析唇部运动参数来对图像序列进行分类和识别。然而,作为一项新兴技术虽然可以利用其他领域的各种研究方法进行唇读研究,但是存在精度较低和其他局限性的缺点。因... 

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
Abstract
1 Introduction
    1.1 Research background and significance
    1.2 Research status at home and abroad
    1.3 Work in this paper
    1.4 Structure of this paper
2 Face image acquisition
    2.1 Video database creation
    2.2 Ways to identify faces
        2.2.1 Haar-like features
        2.2.2 Application of Adaboost algorithm in Haar classifier
        2.2.3 Integral image
    2.3 Facial extraction result
        2.3.1 Face region segmentation based on Mahalanobis distance
        2.3.2 Face segmentation based on skin color detection and Adaboost
    2.4 Chapter summary
3 Lip positioning and feature extraction
    3.1 Lip positioning
        3.1.1 Facial structure features localization method
        3.1.2 Color-based lip positioning method
    3.2 Lip feature extraction
        3.2.1 Pixel-based feature extraction method
        3.2.2 Shape-based feature extraction method
        3.2.3 Key point detection
    3.3 Lip feature extraction result
        3.3.1 Extract facial features using CLM
        3.3.2 Feature extraction and calculation
    3.4 chapter summary
4 Lip-reading based on HAM
    4.1 Hidden Markov Model
        4.1.1 Introduction of HMM
        4.1.2 Key parameters in HMM
    4.2 HMM-based lip-reading system
        4.2.1 DHMM model settings
        4.2.2 Baum-Welch algorithm
        4.2.3 DHMM parameter settings
    4.3 Results and analysis
5 Lip-reading for the profile face
    5.1 Adding profile face video data
    5.2 Lip feature extraction in side
        5.2.1 Face face segmentation and feature point extraction
        5.2.2 Image stretching of the profile face
        5.2.3 Calculating the value of a feature
    5.3 Lip-reading result
6 Conclusion
References
Acknowledgements
Appendix A 中文摘要


【参考文献】：
期刊论文
[1]基于改进的Adaboost算法的人脸检测系统[J]. 冯小建,马明栋,王得玉.  计算机技术与发展. 2019(03)
[2]Adaboost人脸检测算法研究及OpenCV实现[J]. 郭磊,王秋光.  哈尔滨理工大学学报. 2009(05)
[3]唇读识别中的基本口型分类[J]. 柴秀娟,姚鸿勋,高文,王瑞.  计算机科学. 2002(02)



本文编号：3666052