面向序列数据的深度学习算法研究

发布时间：2023-11-26 14:52

　　互联网技术的快速发展积累了大量的信息数据,其中包括体现内在关联关系的序列数据。如何挖掘序列数据关联关系并对未来进行预测,是推动人工智能发展和社会智能化的一项重要研究工作。在序列数据建模过程中,通常会遇到许多难题,如序列数据的稀疏性、时序长程依赖挖掘的困难性以及长序列信息传递推理问题等。针对这些存在的问题与挑战,本文对序列建模问题进行了深入研究,提出了一系列面向序列数据的深度建模方法,克服了传统序列建模中存在的序列间隔忽略和信息推理能力缺乏等问题。本文研究的动机是通过利用辅助信息对深度序列模型进行结构改造,以构造更合理的深度序列模型,从而运用到实际应用场景中,提升模型的预测推荐能力。具体来说,本文的主要工作可以总结为如下几个方面:针对普遍存在的序列稀疏性问题,提出了一种组合架构的长短时记忆网络模型。具体而言,在商业广告推荐领域,提出利用长短时记忆网络来分别对如下两种序列进行关联关系挖掘:反映全局关联的用户-查询语句-广告的三元关系序列(全局的长短时记忆模型)和反映局部依赖查询语句序列(局部的长短时记忆模型),以将用户的查询意图嵌入到连续向量空间,并进一步将其解码来刻画不同类型广告的概率分...

【文章页数】：125 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景
    1.2 研究问题
    1.3 本文的研究内容和贡献
    1.4 本文的组织结构
第2章 相关研究工作综述
    2.1 序列特征学习
        2.1.1 循环神经网络
        2.1.2 长短时记忆模型
        2.1.3 Gated Recurrent Unit
    2.2 视觉特征学习
        2.2.1 深度卷积神经网络
        2.2.2 AlexNet
        2.2.3 VGGNet
    2.3 记忆网络
    2.4 生成对抗网络
    2.5 推荐算法
        2.5.1 协同过滤
        2.5.2 矩阵分解
        2.5.3 马尔科夫模型
    2.6 对话模型
        2.6.1 垂直领域对话
        2.6.2 自然对话生成
        2.6.3 跨模态对话
第3章 基于序列数据的组合架构深度学习算法
    3.1 引言
    3.2 算法
        3.2.1 问题定义
        3.2.2 局部长短时记忆模型
        3.2.3 全局长短时记忆模型
        3.2.4 组合长短时记忆模型
        3.2.5 模型训练
    3.3 实验
        3.3.1 实验数据集
        3.3.2 参数设定
        3.3.3 对比算法
        3.3.4 评价标准
        3.3.5 结果展示及分析
    3.4 结论
第4章 基于时空嵌入的深度预测模型
    4.1 引言
    4.2 相关工作
        4.2.1 地点预测
        4.2.2 深度模型
        4.2.3 生成对抗网络
    4.3 算法
        4.3.1 任务描述
        4.3.2 时空嵌入的长短时记忆模型
        4.3.3 基于时空嵌入的生成对抗网络模型
        4.3.4 基于时空嵌入的层次长短时记忆模型
    4.4 实验
        4.4.1 实验数据集
        4.4.2 参数设定
        4.4.3 对比算法
        4.4.4 验证指标
        4.4.5 实验结果
    4.5 结论
第5章 基于多轮注意力机制的深度记忆网络模型
    5.1 引言
    5.2 相关工作
        5.2.1 计算机视觉与自然语言处理
        5.2.2 对话模型和聊天机器人
        5.2.3 视觉对话
    5.3 算法
        5.3.1 问题定义
        5.3.2 多轮注意力记忆网络编码器
        5.3.3 生成式解码器和判别式解码器
    5.4 实验
        5.4.1 实验数据集
        5.4.2 参数设定
        5.4.3 对比算法
        5.4.4 评价标准
        5.4.5 实验结果
    5.5 结论
第6章 总结与展望
    6.1 本文工作总结
    6.2 工作展望
参考文献
攻读博士学位期间主要的研究成果
致谢



本文编号：3867994