全景图片自由浏览模式下基于眼动追踪数据的情绪分析与识别研究
发布时间：2022-05-08 21:05
随着5G和VR（Virtual Reality）的发展,基于全景内容的应用受到广泛关注。研究用户对于全景内容的感知和情绪反应对多媒体处理和用户体验质量评估至关重要。眼球的运动特征在不同全景内容情绪刺激下会发生显著变化,且眼动监测具备便捷、真实的特点,在情绪识别研究领域备受关注。当前基于全景内容诱发下眼动监测的情绪识别研究存在以下问题:（1）全景内容下带有情绪标签的眼动数据集较少,相关研究常利用头动代替眼动数据;（2）研究表明二维内容下眼动和情绪存在联系,但三维全景诱发态眼动模式与二维静态内容并不同,全景图片自由浏览模式下如何提取眼动特征并分析眼动偏差与情绪关系亟待研究;（3）以往研究多基于原始眼动数据,缺乏眼动行为特征分析,也未能充分挖掘眼动序列时序关联信息。针对以上问题,本文进行了如下工作:（1）基于LS2N实验室创建的全景图片-显著性数据集,选择刺激素材并建立了一个包含情绪标签（积极、中性、消极）的360度全景图片-情绪-眼动数据集,包含基于HTC Vive头显和SMI Eye-tracker设备记录的19位受试者自由头动和眼动数据。（2）根据虚拟现实头显的交互特点,本文提出了全景...
【文章页数】：78 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 选题背景及研究意义
1.2 国内外研究现状
1.2.1 眼动信号处理方法与应用
1.2.2 基于眼动信号的情绪研究现状
1.2.3 全景图片的研究现状
1.2.4 存在问题
1.3 本文主要工作
1.3.1 研究目标及研究内容
1.3.2 主要工作
1.4 论文组织结构
1.5 本章小结
第二章 眼动相关研究背景知识
2.1 全景图片与虚拟现实技术
2.2 眼动及其特征
2.2.1 人眼视觉系统
2.2.2 眼动追踪
2.2.3 眼动行为表示
2.3 情绪模型
2.4 相关算法介绍
2.4.1 相关机器学习算法
2.4.2 循环神经网络
2.5 本章小结
第三章 全景图片诱发态眼动数据集的创建与眼动行为差异研究
3.1 眼动-情绪数据集创建
3.1.1 全景图片刺激素材
3.1.2 实验设备
3.1.3 实验步骤
3.2 全景图片下的眼动行为特征提取方法
3.2.1 视口二维坐标映射
3.2.2 基于时间和速度的阈值算法提取眼动凝视位置坐标
3.2.3 眼动特征表示
3.3 不同情绪刺激下的眼动行为探索
3.3.1 SAM得分及情绪分类
3.3.2 仅头动和头动加眼动数据生成的显著性图比较
3.3.3 眼动行为特征的方差分析
3.3.4 情绪对眼动偏差的影响与全景扫视特点
3.4 本章小结
第四章 基于眼动行为特征的情绪识别算法研究
4.1 情绪识别算法研究
4.1.1 特征提取
4.1.2 分类器训练
4.1.3 基于扫描路径的分类
4.1.4 特征选择
4.2 实验结果与分析
4.2.1 原始眼动追踪数据和眼动行为特征分类比较
4.2.2 基于SVM的不同特征表示比较
4.2.3 不同算法模型方法比较
4.2.4 不同特征选择方式比较
4.2.5 情绪场景二分类比较
4.3 本章讨论
第五章 基于眼动序列门控循环单元的情绪识别方法
5.1 基于门控循环单元的眼动情绪分类网络
5.1.1 门控循环单元
5.1.2 数据划分
5.1.3 网络结构
5.2 实验结果与分析
5.2.1 实验参数设置
5.2.2 原始眼动追踪数据和切分扫描路径的性能比较
5.2.3 不同特征序列分类比较
5.2.4 GRU网络和LSTM分类效果对比
5.2.5 GRU网络和GBDT方法对比
5.2.6 GRU网络情绪场景二分类比较
5.3 本章小结
总结与展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附录
【参考文献】：
硕士论文
[1]虚拟现实视觉诱发态下基于前额脑电及眼动的情绪分类研究[D]. 吴施仪.华南理工大学 2019
本文编号：3652374
【文章页数】：78 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 选题背景及研究意义
1.2 国内外研究现状
1.2.1 眼动信号处理方法与应用
1.2.2 基于眼动信号的情绪研究现状
1.2.3 全景图片的研究现状
1.2.4 存在问题
1.3 本文主要工作
1.3.1 研究目标及研究内容
1.3.2 主要工作
1.4 论文组织结构
1.5 本章小结
第二章 眼动相关研究背景知识
2.1 全景图片与虚拟现实技术
2.2 眼动及其特征
2.2.1 人眼视觉系统
2.2.2 眼动追踪
2.2.3 眼动行为表示
2.3 情绪模型
2.4 相关算法介绍
2.4.1 相关机器学习算法
2.4.2 循环神经网络
2.5 本章小结
第三章 全景图片诱发态眼动数据集的创建与眼动行为差异研究
3.1 眼动-情绪数据集创建
3.1.1 全景图片刺激素材
3.1.2 实验设备
3.1.3 实验步骤
3.2 全景图片下的眼动行为特征提取方法
3.2.1 视口二维坐标映射
3.2.2 基于时间和速度的阈值算法提取眼动凝视位置坐标
3.2.3 眼动特征表示
3.3 不同情绪刺激下的眼动行为探索
3.3.1 SAM得分及情绪分类
3.3.2 仅头动和头动加眼动数据生成的显著性图比较
3.3.3 眼动行为特征的方差分析
3.3.4 情绪对眼动偏差的影响与全景扫视特点
3.4 本章小结
第四章 基于眼动行为特征的情绪识别算法研究
4.1 情绪识别算法研究
4.1.1 特征提取
4.1.2 分类器训练
4.1.3 基于扫描路径的分类
4.1.4 特征选择
4.2 实验结果与分析
4.2.1 原始眼动追踪数据和眼动行为特征分类比较
4.2.2 基于SVM的不同特征表示比较
4.2.3 不同算法模型方法比较
4.2.4 不同特征选择方式比较
4.2.5 情绪场景二分类比较
4.3 本章讨论
第五章 基于眼动序列门控循环单元的情绪识别方法
5.1 基于门控循环单元的眼动情绪分类网络
5.1.1 门控循环单元
5.1.2 数据划分
5.1.3 网络结构
5.2 实验结果与分析
5.2.1 实验参数设置
5.2.2 原始眼动追踪数据和切分扫描路径的性能比较
5.2.3 不同特征序列分类比较
5.2.4 GRU网络和LSTM分类效果对比
5.2.5 GRU网络和GBDT方法对比
5.2.6 GRU网络情绪场景二分类比较
5.3 本章小结
总结与展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附录
【参考文献】：
硕士论文
[1]虚拟现实视觉诱发态下基于前额脑电及眼动的情绪分类研究[D]. 吴施仪.华南理工大学 2019
本文编号：3652374
本文链接：https://www.wllwen.com/yixuelunwen/swyx/3652374.html
