不同关系的对话者间褒贬态度的语音表达与多模态感知研究

发布时间：2017-10-16 01:11

  本文关键词：不同关系的对话者间褒贬态度的语音表达与多模态感知研究

  更多相关文章： 汉语 话者关系 褒贬态度 多模态感知 韵律特征

【摘要】：在语音学领域,对情感的研究有两个特点：一是从内容上看,大多数研究都集中在基本情绪上,而对社会情感(包括态度)的研究非常少；二是从语言上看,汉语情感的研究还落后于其他语言,如英语、日语、法语等。因此,本文着力研究不同关系的说话者间汉语态度语音的产出与感知特性。本文的研究问题有两个：(1)听话人如何通过语音形式、面部表情等多种模态信息来感知对话者之间的友好或对立关系、褒扬或贬责态度的?(2)说话人是如何通过特定的语音韵律特征来分别表达友好或对立关系、褒扬或贬责态度的?本文通过感知实验和声学分析,考察不同关系(友好、对立)的谈话者之间,是如何传递不同态度(褒扬、贬责)的。在感知实验中,通过给12名被试播放纯音频、纯视频和音视频三种模态的刺激,让被试判断出刺激所包含的话者关系和褒贬态度。感知实验的主要结果有：(1)在两种话者关系中,友好关系的辨识率更高；在褒贬态度中,褒扬态度的辨识率更高；在三种模态中,纯视频模态的辨识率最高。(2)当话者关系为友好时,褒扬态度的辨识率显著高于贬责态度；当话者关系为对立时,褒扬态度的辨识率也高于贬责态度,但其辨识优势(60.1% vs40.2%)低于友好关系时的辨识优势(84.7% vs 46.2%)。(3)褒扬态度在纯视频模态下辨识率最高,贬责态度在音视频模态下辨识率最高。这说明听话者仅通过面部表情就可以很好地判断出褒扬态度,但在判断贬责态度时需要同时结合声音韵律和面部表情。(4)友好关系在音视频模态下辨识率最高,对立关系在纯视频模态下辨识率最高。这表明听话者判断友好关系时,需要结合声音韵律和面部表情,而判断对立关系时,仅通过面部表情就可以很好地判断。在声学分析中,考察了情感态度和韵律特征之间的对应关系。本文提取了基频、时长、能量、嗓音等17个相关的声学参数,通过多元方差分析、因子分析和判别分析,系统考察了不同话者关系、褒贬态度与韵律参数之间的关系。方差分析的主要研究结果有：当谈话者之间是友好关系时,说话者表达褒扬态度会用更高的基频、更快的语速,更大的振幅抖动、更小的谐波噪声比；当谈话者之间是对立关系时,说话者表达褒扬态度会用较低的基频、更小的调域、更慢的语速、更小的能量、更小的振幅抖动、更大的谐波噪声比。上述结果表明,谈话者之间的关系,会影响褒贬态度的表达：当谈话者之间为友好关系时,说话者表达褒扬和贬责态度需要用基频、时长和嗓音进行区分,而能量没有变化；当谈话者之间为对立关系时,说话者表达褒扬和贬责态度需要使用基频、时长、能量、嗓音进行区分。本文同时对提取到的17个声学参数进行降维,利用因子分析发现,前六个公共因子可以包含原来80.32%的信息,分别对应了嗓音参数、能量离散参数、基频离散参数、基频集中参数、能量集中参数和时长参数。通过判别分析发现,利用前六个公共因子对表达风格、话者关系和褒贬态度进行判别的辨识率均高于被试主观判断的辨识率。这说明基频、时长、能量、嗓音的相关声学参数可以很好地刻画在友好、对立两种对话者关系下汉语褒贬态度表达的韵律特征。
【关键词】：汉语 话者关系 褒贬态度 多模态感知 韵律特征
【学位授予单位】：南京师范大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：H116
【目录】：

• 摘要3-5
• Abstract5-12
• 第1章 绪论12-17
• 1.1. 研究背景12-13
• 1.2. 研究内容13-14
• 1.3. 研究价值14-15
• 1.3.1. 理论价值14
• 1.3.2. 应用价值14-15
• 1.4. 研究方法15-17
• 1.4.1. 感知实验16
• 1.4.2. 声学分析16-17
• 第2章 情感态度研究现状17-29
• 2.1 情感、情绪与态度17-18
• 2.2 态度的定义与分类18
• 2.3 态度语料库的设计18-20
• 2.4 态度的感知机制研究20-24
• 2.4.1 态度的语音感知20-21
• 2.4.2 态度的多模态感知21-23
• 2.4.3 态度的跨语言感知23-24
• 2.5 态度的韵律特征研究24-27
• 2.6 态度的言语工程研究27-28
• 2.7 小结28-29
• 第3章 语料设计、采集与处理29-35
• 3.1 文本语料设计29-32
• 3.2 发音被试选取32-33
• 3.3 多模态语料采集33-34
• 3.3.1 采集地点及设备33
• 3.3.2 录制方法33-34
• 3.4 语料切分与标注34-35
• 3.4.1 语音信号的切分34
• 3.4.2 视频信号的切分34-35
• 第4章 汉语态度话语的多模态感知实验35-43
• 4.1 感知实验设置35-37
• 4.1.1 实验材料35
• 4.1.2 辨识被试35-36
• 4.1.3 实验过程36-37
• 4.2 感知实验统计结果37-41
• 4.3 小结41-43
• 第5章 汉语态度话语的韵律特征分析43-62
• 5.1 参数定义43-44
• 5.1.1 基频参数43
• 5.1.2 时长参数43-44
• 5.1.3 能量参数44
• 5.1.4 嗓音参数44
• 5.2 数据提取与处理44-45
• 5.3 方差分析结果45-56
• 5.3.1 基频结果45-49
• 5.3.2 时长结果49-50
• 5.3.3 能量结果50-53
• 5.3.4 嗓音结果53-56
• 5.4 因子分析与判别分析结果56-58
• 5.5 小结58-62
• 5.5.1 方差分析小结59-60
• 5.5.2 因子分析与判别分析小结60-62
• 第6章 结语62-65
• 6.1 本文研究成果62-63
• 6.1.1 感知实验结果62
• 6.1.2 韵律特征分析结果62-63
• 6.2 创新之处63-64
• 6.3 研究的不足之处64
• 6.4 今后的研究展望64-65
• 附录 语料文本(示例)65-70
• 参考文献70-78
• 在读期间发表的学术论文及研究成果78-79
• 致谢79-80

，

本文编号：1039764