面向言语康复的多模态人机交互系统

发布时间：2022-12-10 01:32

　　为解决现有言语康复训练过程中感受声带振动通过触摸的方式依靠主观评定,不能客观反映声带振动过程的问题,本文在音视频反馈基础上,提出了一种以音视频反馈融合振动反馈的多模态人机交互系统,采用三维虚拟头像实现音视频反馈及振动马达实现声带振动反馈的多模态人机交互训练模式,从而辅助听障生完成发音康复训练。实验结果表明,该系统及装置对提高听障生言语康复训练效果具有有效性。 

【文章页数】：9 页

【文章目录】：
0 引言
1 多模态人机交互的言语康复训练系统设计原则
    1.1 符合听障生的认知特征
    1.2 训练过程的多模态与交互性
    1.3 训练过程中的趣味性
2 多模态言语康复训练系统设计与实现
    2.1 设计框架
        2.1.1 训练内容
        2.1.2 人机交互方式
    2.2 多模态人机交互系统的实现
        2.2.1 音视频信息采集及反馈
        2.2.2 振动信息采集及反馈
3 实验结果及分析
    3.1 系统训练内容的效果对比
        3.1.1 获取实验数据
        3.1.2 实验结果分析
    3.2 各交互方式效果对比
        3.2.1 获取实验数据
        3.2.2 实验结果分析
    3.3 不同年龄段使用效果对比
        3.3.1 获取实验数据
        3.3.2 实验结果分析
    3.4 用户体验满意度分析
        3.4.1 获取实验数据
        3.4.2 实验结果分析
4 结束语


【参考文献】：
期刊论文
[1]面向人类智能增强的多模态人机交互[J]. 王党校,郑一磊,李腾,彭聪,王丽君,张玉茹.  中国科学:信息科学. 2018(04)
[2]基于网络的汉语听力康复训练系统[J]. 武文芳,王榕,胡前川,陈雪清,杜菁.  北京生物医学工程. 2018(01)
[3]虚拟现实技术及其在心理认知与听障儿童康复教学中的应用研究[J]. 朱辉,张博恺.  中国听力语言康复科学杂志. 2016 (06)
[4]实物交互在言语康复训练中的应用[J]. 黄朝殿,陈辉,彭晓兰,王岚,张凤军,田丰,王宏安.  计算机辅助设计与图形学学报. 2016(09)
[5]基于语谱图行投影的特定人二字汉语词汇识别[J]. 梁士利,魏莹,潘迪,张玲,许廷发,王双维.  吉林大学学报(工学版). 2017(01)
[6]一种应用虚拟发音头像的普通话聋儿言语康复系统[J]. 刘晓千,燕楠,王岚.  集成技术. 2013(04)
[7]基于声控游戏的儿童言语障碍康复系统设计[J]. 司博宇,高栋,周林灿,黄昭鸣.  现代教育技术. 2013(05)
[8]儿童听力言语康复分类训练及评估的汉语视听系统素材编制[J]. 陈雪清,刘海红,陈安宇,武文芳,张华,吴燕君,孔颖.  听力学及言语疾病杂志. 2007(04)
[9]聋儿语训初探[J]. 黄振美.  潍坊教育学院学报. 2005(04)
[10]聋儿与听力正常儿童智力测验的比较研究[J]. 鲍永清.  中国特殊教育. 2000(03)

博士论文
[1]听障儿童听觉和言语特征及其关系的研究与训练策略[D]. 张蕾.华东师范大学 2011

硕士论文
[1]听障儿童唇读汉字识别与理解的比较研究[D]. 朋文媛.华中师范大学 2014
[2]三维人脸唇形动画的语音驱动研究[D]. 乔德明.电子科技大学 2010



本文编号：3715784