面向触摸屏图像再现的力触觉接口与交互技术研究

发布时间：2022-12-06 06:13

　　基于触摸屏的智能设备已广泛应用于人们的日常生活中。触摸屏具有显示可视化数据和检测手指触摸位置的功能,其为人们提供了一种与虚拟环境交互的新方法。通常,用户通过视觉和听觉与触摸屏设备进行交互,但力触觉交互非常有限。力触觉交互是一种可双向传递信息的新型人机交互技术,它能够让操作者触摸、感知和操纵虚拟物体,并向操作者再现虚拟物体的表面摩擦、纹理、柔软度、材质等多种与触觉相关的特征信息。尤其是对于盲人或视障人士来说,力触觉交互为他们感知在触摸屏上显示的图形、图像和虚拟环境等多种数字化信息提供了一条重要的途径。然而,目前面向触摸屏应用的人机交互技术普遍缺乏有效的力触觉感受,且很少考虑符合人的生理感知特性的力触觉表达方法。针对触摸屏交互的特点和实际需求,本文首先从人的生理感知特性出发,将力触觉交互技术与触摸屏设备相结合,分别设计了包括手持式和手指可穿戴式在内的三种力触觉装置,这些装置可通过多模式的力触觉反馈来再现虚拟物体或图像的多种特征信息。接着,为了更好地帮助人们在触摸屏上感知图像的空间信息,本文首次将基于深度学习的图像平滑算法应用于智能设备,以便在触觉再现之前先对原始图像进行平滑处理。最后,本文... 

【文章页数】：142 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
名词缩写对照表
第一章 绪论
    1.1 课题研究背景和意义
        1.1.1 力触觉交互技术概述
        1.1.2 力触觉交互与再现技术在触摸屏设备上的应用
    1.2 图像空间信息的力触觉再现
        1.2.1 图像空间信息的视-触转换
        1.2.2 触觉地感知图像的空间信息
    1.3 面向触摸屏应用的力触觉装置和再现方法
        1.3.1 基于触摸屏设备的力触觉再现
        1.3.2 借助交互工具的力触觉再现
    1.4 基于磁流变效应的力触觉设备
        1.4.1 磁流变智能材料及其在力触觉设备中的应用
        1.4.2 磁流变执行器对于力触觉交互系统稳定性和透明性的影响
    1.5 目前存在的主要问题
    1.6 本文的研究内容与论文组织结构
第二章 用于触摸屏交互的笔式多模式力触觉接口研究
    2.1 引言
    2.2 笔式多模式力触觉接口的设计
        2.2.1 总体结构设计
        2.2.2 工作原理
    2.3 混合执行器的设计与控制
        2.3.1 MR执行器的设计
        2.3.2 VCM的设计
        2.3.3 混合执行器的控制方案
    2.4 性能评估
        2.4.1 LRA和压电陶瓷执行器的振动性能测试
        2.4.2 再现虚拟物体的刚度特征
    2.5 心理物理学实验
        2.5.1 实验人员和装置
        2.5.2 实验一:三种触觉模式的刚度JND测量
        2.5.3 实验二:不同触觉模式的对比
        2.5.4 讨论
    2.6 本章小结
第三章 基于磁流变弹性体的球形执行器研究
    3.1 引言
    3.2 球形执行器的结构设计及其与笔式装置的集成
    3.3 MRE的制作和性能测试
        3.3.1 MRE的制作
        3.3.2 相对磁导率的测量
        3.3.3 磁场和速度对MRE表面摩擦系数的影响
    3.4 样机的实现和侧向力控制
        3.4.1 侧向力的计算模型
        3.4.2 有限元分析和结构优化
        3.4.3 基于电流的侧向力控制
    3.5 客观和主观性能评估
        3.5.1 实验一:最大滑动摩擦系数的测量
        3.5.2 实验二:在触摸屏上再现虚拟表面的摩擦特征
        3.5.3 实验三:摩擦辨别任务
        3.5.4 讨论
    3.6 本章小结
第四章 用于触摸屏交互的手指可穿戴式力触觉接口研究
    4.1 引言
    4.2 手指可穿戴式力触觉接口的总体设计
    4.3 直线型MR泡沫执行器
        4.3.1 结构设计和原理建模
        4.3.2 结构的有限元分析和优化
        4.3.3 MR泡沫执行器的测试和控制
    4.4 装置的性能评估
        4.4.1 MR泡沫执行器的力跟踪性能
        4.4.2 侧向力的控制和摩擦系数测量
        4.4.3 振动性能测试
    4.5 心理物理学实验
        4.5.1 实验人员和装置
        4.5.2 实验一:刚度辨别任务
        4.5.3 实验二:摩擦辨别任务
        4.5.4 讨论
    4.6 本章小结
第五章 基于深度学习的图像平滑和图像空间信息的力触觉再现实验研究
    5.1 引言
    5.2 基于深度学习的图像平滑
        5.2.1 深度学习和CNN的概述
        5.2.2 基于CNN的图像平滑滤波器
        5.2.3 图像平滑算法的比较
        5.2.4 深度学习模型在Android平台上的移植
    5.3 面向触摸屏的图像空间特征提取
        5.3.1 图像形状特征的提取
        5.3.2 图像轮廓特征的提取
    5.4 利用MH-PEN的振动触觉反馈再现图像中物体的轮廓信息
        5.4.1 改进型MH-Pen
        5.4.2 基于轮廓再现的图像识别实验
    5.5 基于形状再现的多装置对比实验
        5.5.1 形状再现实验1:规则形状识别任务
        5.5.2 形状再现实验2:自然图像识别任务
        5.5.3 形状再现实验的讨论
    5.6 本章小结
第六章 总结与展望
    6.1 本文工作总结
    6.2 本文主要创新点
    6.3 未来研究展望
致谢
参考文献
作者攻读博士学位期间发表的学术论文及成果



本文编号：3711229