图像生成诗歌的端到端模型研究

发布时间：2020-04-30 06:07

【摘要】：诗歌是璀璨中华文化的瑰宝,历史长河中有无数诗歌被传颂至今,人们被前人的智慧和诗歌的美所撼动。在人工智能的大浪潮下,图像识别、自然语言处理、字幕挑战等计算机技术发展迅猛,让计算机自动生成诗歌的研究取得不断的突破。前人在诗歌自动生成的研究大多数在于从文字启发生成诗歌,极少学者研究是从图像启发生成诗歌。目前,从图像启发生成诗歌的研究中存在不少的问题,例如缺乏一个从图像输入直接输出诗歌的端到端模型、输出诗歌内容与图像表征不符、输出诗歌质量不好等问题。本文的主要工作如下:(一)本模型框架基于编码器-解码器,编码器使用全卷积网络FCN,解码器使用长短期记忆网络LSTM。使用FCN编码器从像素级图像中提取空间视觉特征和语义表示。基于FCN-LSTM的编码器-解码器模型框架被运用在图像启发生成诗歌的工作中;(二)模型引入注意力机制,通过细粒度和语义引导的注意力机制,将FCN编码器的所有输出的特征信息汇总到一个联合上下文汇总层中,为解码器LSTM提供更利于诗歌生成的信息;(三)在LSTM解码器中引入内存模型,使得本模型输出的诗歌更具备多样化、创造性;构建图像-诗歌的数据集,为图像生成诗歌的端到端模型训练做准备。设计三个模型评估实验:模型结构分析、诗歌图灵测试分析、多模型对比分析,并详细分析实验数据。在结构实验中,模型引入注意力机制和内存模型后困惑度PPL值下降明显,证明基于本模型输出的诗歌质量更好。在图灵测试中,在非专业组大概有44.8%的诗歌被认为是机器生成诗歌或者不能区分,证明本模型生成的诗歌与人类创作的诗歌水平差不多;在诗歌生成质量的多模型对比中,本模型的主客观评价指标中表现优秀,相比于传统SMT模型有较大进步;本模型并在五言律诗和七言律诗的诗歌评价中,诗歌的连贯性均比注意力机制模型ANMT高出0.03,在诗歌的意义性高出0.17和0.09。
【图文】：

忆网络网络(LSTM)是循环神经网络的一种扩展网络，，包含的记忆能力，因此适合处理一些带有时序特征的问STM 单元构建成为 LSTM 网络，LSTM 网络能够记算机一样，每一个单元都各自有记忆内存单元，每时序记忆中进行读取、写入和删除操作。这个内存控制到达当前门信息的管理能力，门控单元可以对息，具体是利用计算根据信息的重要性进行选择。入层的权重来衡量，而对应每一层的权重是利用各着每层推移计算，每层的权重相应调整，逐渐保留。LSTM 中有三种门：输入门，接受输入信息单元门，选择信息单元。如下图。

该模型结构还能够改变输入和输出字符串或序列的长理任务有很好的效果。-解码器模型一经被提出，就得到无数的实际运用，但是并不经典的编码器-解码器模型表明其最大的局限性在于起到将的固定长度的语义向量 ，该语义向量代表着整个编码器的信量无法准确代表输入的序列信息，或者一些信息被遗忘，越况出现的概率就越高。语义向量 起到关键信息枢纽的作用，的好坏。编码器-解码器模型就是一个研究基石方向，虽然有一步后人研究优化，因而人们进一步研究 Attention 模型。A型，由 Dzmitry Bahdanau 等人提出，重点把单一的编码器所根据不同的实际问题关注不同的语义重点，并根据注意力区使得这种模型能处理比普通的编码器-解码器模型更长的输入
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：I207.22;TP391.41;TP183

【相似文献】

相关期刊论文 前10条

1 柏华洁;李成名;安真臻;;3维城市模型框架数据的探讨[J];测绘通报;2005年12期

2 刘佳;樊治平;杨国梁;;一种面向知识共享的虚拟社区模型框架[J];管理学报;2006年02期

3 罗世鹏;赵嵩正;殷茗;;基于知识联盟的企业核心能力发展模型框架[J];科技进步与对策;2006年09期

4 范逢曦,何大卫;一种医学综合评价的模型框架[J];中国卫生统计;1998年03期

5 俞东慧,黄丽华,方针;企业变革管理模型框架及其实证研究[J];系统工程理论方法应用;2004年02期

6 徐志毅;新7S管理模型框架与应用[J];通信企业管理;2003年02期

7 赵馨;;浅析知识管理的模型框架[J];科技信息(科学教研);2007年36期

8 徐享忠,王精业,马亚龙;知识管理的模型框架及其关键技术[J];计算机工程;2002年02期

9 刘威;乔立红;;基于元模型的统一制造资源模型框架[J];计算机集成制造系统;2007年10期

10 姜军平;刘伟;;Java并发模型框架的构建及应用[J];西北医学教育;2006年03期

相关会议论文 前10条

1 岳永;;强制性制度变迁、意识形态与经济绩效——一个关于中俄改革分析的模型框架[A];中国制度经济学年会论文集[C];2003年

2 马运全;;金融创新与制度环境:模型框架与实证分析[A];2011年（第九届）“中国法经济学论坛”论文集[C];2011年

3 杨雪榕;张大曦;范丽;;信息知识层外挂的分层Agent模型框架及其建模方法[A];空天资源的可持续发展——第一届中国空天安全会议论文集[C];2015年

4 乔非;吴启迪;严隽薇;;集成化企业模型体系:概念与构成[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

5 毛亮;;由外部性引起的交易费用:一个初步的考察[A];中国制度经济学年会论文集[C];2006年

6 王秀敏;应益荣;;MWZ模型框架下的交易者互动模型研究[A];第二届中国智能计算大会论文集[C];2008年

7 刘颖斐;余玉苗;;基于风险控制价值的独立审计定价模型框架[A];中国会计学会2006年学术年会论文集（上册）[C];2006年

8 黎旭成;唐校辉;王卓;陈振武;耿东雪;;基于卷积神经网络和长短期记忆模型的交通状态预测[A];品质交通与协同共治——2019年中国城市交通规划年会论文集[C];2019年

9 余勇;晏顺坪;邱勇;;变形状态下辐照后的橡胶弹性本构模型[A];2018年全国固体力学学术会议摘要集（下）[C];2018年

10 张传海;曹波伟;薛青;郭玺;;轮式装甲车辆机动模型框架研究[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年

相关重要报纸文章 前2条

1 记者杨晓平;关注超前竞争力　旧7S已成明日黄花新7S引领风骚[N];中华工商时报;2002年

2 国家发改委城市和小城镇改革发展中心学术委员会秘书长 冯奎;推动城市治理智慧化水平不断提升[N];中国建设报;2018年

相关博士学位论文 前10条

1 夏辰;基于重构的自底向上视觉注意模型研究[D];西安电子科技大学;2017年

2 李鸿禧;基于信用与利率联合风险控制的银行资产负债优化模型[D];大连理工大学;2018年

3 刘婷;基于肤面模型的装配误差分析方法研究[D];浙江大学;2019年

4 陈华栋;机器翻译中的模型学习问题研究[D];南京大学;2018年

5 刘广达;高逼真度研究型飞行模拟器的可重构关键技术研究[D];哈尔滨工业大学;2010年

6 姚婷婷;视觉分析中的层次化结构关联特性研究[D];合肥工业大学;2016年

7 李小波;基于DSM的效能仿真多范式组合建模方法研究[D];国防科学技术大学;2013年

8 陈学中;基于多主体系统的人才集聚和组织起源研究[D];南京大学;2011年

9 康晓予;仿真模型重用与组合关键技术研究[D];大连理工大学;2012年

10 韩中元;基于时间特性的微博检索和微博过滤研究[D];哈尔滨工业大学;2016年

相关硕士学位论文 前10条

1 靳义林;基于多模型融合的新闻文本分类研究[D];重庆邮电大学;2019年

2 何立健;图像生成诗歌的端到端模型研究[D];广东工业大学;2019年

3 王丽婷;基于主题模型的微博热点话题发现[D];西安电子科技大学;2018年

4 周雅倩;多传感器时间序列的活动识别概率模型研究[D];燕山大学;2019年

5 李孟;基于深度学习的情感对话生成模型研究[D];华中师范大学;2019年

6 陆亚男;基于深度学习的摘要生成模型研究[D];电子科技大学;2019年

7 刘颖;Black-Litterman模型的参数优化及其在行业资产配置中的应用[D];武汉理工大学;2018年

8 张丽连;STAR-GARCH模型的设定研究[D];天津财经大学;2018年

9 李泽龙;基于ARMAX-LSTM模型的高炉铁水质量预报研究[D];浙江大学;2019年

10 王安君;基于Condition-CNN模型的立场检测研究[D];上海师范大学;2019年

本文编号：2645469