基于RNN的古典诗歌自动生成及可视分析研究

发布时间：2022-04-25 21:16

　　对神经网络内部行为的探索与分析一直以来是深度学习研究与发展的热点。尽管已经在大量的实验和任务中证明了深度学习的实用性,包括诗歌生成任务,但在其模型的可解释性上总是有很大的争议。本文结合目前国内教育领域中较为火热的古典诗歌作为突破口,以在深度学习中的古典诗歌自动生成任务为基础,通过可视分析的方法来探究循环神经网络的内部行为。首先,利用长短期记忆网络进行诗歌自动生成模型的建立,通过处理后的数据对模型进行训练,在训练结束后通过使用训练好的模型进行诗歌自动生成的样例展示。其次,提取出诗歌自动生成任务训练过程中的神经元状态,利用循环神经网络可视分析工具LSTMVIS对隐藏状态的训练结果进行时序的可视化,根据诗歌的相关特点和不同的神经网络参数进行神经元行为的假设;并结合不同参数的组合所训练的模型进行对比可视分析。最后,通过上述假设和实验,期望找到训练过程中神经网络是否学习到了诗歌的特点,对比不同的参数设置所训练的模型来找到学习效果和参数之间的关系,来提高在诗歌数据训练过程中的模型可解释性。通过上述实验和分析得到了如下结果和结论:第一,对神经网络的训练,通过自动生成可以得到具有明显押韵特点的类似“五... 

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
        1.1.1 中国古典诗歌题材和特征
        1.1.2 基于人工智能的诗歌自动生成
    1.2 研究的目的与意义
    1.3 主要内容与框架
        1.3.1 研究内容
        1.3.2 本文框架
    1.4 本文创新点
    1.5 研究方法
第二章 国内外相关研究
    2.1 诗歌自动生成技术
        2.1.1 诗歌自动生成
        2.1.2 国外诗歌自动生成相关研究
        2.1.3 国内诗歌自动生成相关研究
        2.1.4 基于深度学习的中国古典诗歌自动生成
    2.2 深度神经网络可视化
        2.2.1 深度学习模型可解释性
        2.2.2 卷积神经网络可视化
        2.2.3 循环神经网络可视化
    2.3 本章小结
第三章 基于RNN的古典诗歌自动生成模型构建
    3.1 循环神经网络
        3.1.1 循环神经网络概述
        3.1.2 循环神经网络的反向传播
        3.1.3 长短期记忆网络
    3.2 诗歌自动生成模型设计
        3.2.1 总体设计
        3.2.2 详细设计
    3.3 诗歌自动生成模型实现
        3.3.1 实验环境与初始参数
        3.3.2 数据来源与预处理
        3.3.3 模型训练与参数优化
        3.3.4 诗歌自动生成
    3.4 本章小结
第四章 基于模型内部神经元状态变化的可视分析
    4.1 可视分析工具
        4.1.1 神经元状态可视化
        4.1.2 LSTMVIS
    4.2 诗歌自动生成模型可视分析背景与假设
        4.2.1 实验背景
        4.2.2 假设与实验设置
        4.2.3 初始设置与操作
    4.3 诗歌自动生成模型神经元内部行为可视分析
        4.3.1 可视分析结果
        4.3.2 实验结论
    4.4 本章小结
第五章 不同参数组合下模型内部行为可视分析
    5.1 隐藏层与样本批量大小的重要性
        5.1.1 隐藏层
        5.1.2 样本批量大小
        5.1.3 参数设置
    5.2 不同参数组合可视分析实验假设与初始状态
        5.2.1 实验假设
        5.2.2 初始界面状态
    5.3 不同参数组合模型内部行为可视分析
        5.3.1 不同激活值对比
        5.3.2 相同激活值对比
        5.3.3 实验结论
    5.4 本章小结
第六章 总结与展望
    6.1 论文总结
        6.1.1 研究背景与思考
        6.1.2 研究过程与结论
    6.2 下一步研究方向
        6.2.1 数据层面
        6.2.2 模型层面
        6.2.3 可视分析层面
参考文献
致谢


【参考文献】：
期刊论文
[1]机器学习模型可解释性方法、应用与安全研究综述[J]. 纪守领,李进锋,杜天宇,李博.  计算机研究与发展. 2019(10)
[2]BP神经网络性能与隐藏层结构的相关性探究[J]. 杨守建,陈恳.  宁波大学学报(理工版). 2013(01)
[3]一种宋词自动生成的遗传算法及其机器实现[J]. 周昌乐,游维,丁晓君.  软件学报. 2010(03)



本文编号：3648354