面向新媒体的自动文本摘要系统研究与实现
发布时间：2021-01-08 00:15
随着微博、微信公众号等新媒体的崛起,网络数字媒体代替了报纸等传统纸质媒体成为人们发布和获取信息的主要渠道。而互联网的高速发展和各种移动终端设备的流行,又带来了网络中的电子文本信息的爆炸式增长。如何从海量的文本信息中快速获取到有效信息已成为社会各界普遍关注的问题,而自动文本摘要技术正是解决这一问题的核心。自动文本摘要技术不仅能提高信息获取效率,更是对话系统、舆情分析等诸多上层应用的支撑技术,拥有广阔的应用前景。目前的自动文本摘要技术主要存在以下问题:（1）在面向短文本的生成式摘要技术中,生成的摘要词语混乱重复、无法生成词表外词、模型在训练时产生退化;（2）在面向长文本的抽取式摘要技术中,抽取的句子不够通顺连贯;（3）在对模型技术的落地上,高精度的自动文摘开放系统较少,缺乏分布式摘要模型方向上的落地实践。针对以上问题,本文进行了关于长短文本的摘要技术研究和大数据环境下文本摘要模型的探索、研究与实践。主要工作有:（1）设计并实现了一种新的短文本生成式摘要模型HCRPGN（Highway Condition Radom Pointer-Generator Network,高速条件随机指针生成网...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２－１?ＣＮＮ／Ｄａｉｌｙ?Ｍａｉ丨数据集数据格式??
尝试了词袋（Ｂａｇ－ｏｆ－ｗｏｒｄ）、卷积（Ｃｏｎｖｏｌｕｔｉｏｎａｌ）、Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ?三种方式，??得到了?Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ机制可提升模型效果的结论，整个模型的结构与??Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构，如图２－２所示：??ｐ（ｙｉ＋ｉ｜ｘ，ｙｃ：０））?［ｃｎｃ３??／?ｈ?Ｘ?Ｐ??ｃｎｃ?Ｕ?Ｐ??飞＼?ｙｃ?ｘ?ｙｃ??＼?Ｅ?Ｆ?Ｇ??广」－、?Ｎ?ｆ?￣￣Ｎ??ｘ?ｙｃ?ｘ?ｙｃ??Ｖ?－／?Ｊ?Ｎｉ?？?、?？＞??图２－２模型架构与Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构??由于这种ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的实现方式比较古老（现己被ｓｅｑ２ｓｅｑ＋ａｔｔｉｏｎ??的实现方式取代），且本文并未采用，因此对模型具体的实现细节与公式不再赘??述，仅阐述ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的架构思想，以及强调Ａｔｔｅｎｔｉｏｎ机制对结果提升??有促进作用。??２．２．１．３?Ｂｅａｍ?Ｓｅａｒｃｈ?算法??为了提高模型的计算效率，在模型使用了?Ｂｅａｍ?Ｓｅａｒｃｈ算法。Ｂｅａｍ?Ｓｅａｒｃｈ??是一种启发式图搜索算法，它的本质是使用贪心策略（ｇｒｅｅｄｙ），在模型对解空??间的探测时，对其进行剪枝，丢弃掉一些质量比较差的解，只保留有限数量的优??秀解，从而达到提高模型预测速度的效果，其算法流程如下：???Ａｌｇｏｒｉｔｈｍ?１?Ｂｅａｍ?Ｓｅａｒｃｈ??Ｉｎｐｕｔ：?Ｐａｒａｍｅｔｅｒｓ?０
尝试了词袋（Ｂａｇ－ｏｆ－ｗｏｒｄ）、卷积（Ｃｏｎｖｏｌｕｔｉｏｎａｌ）、Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ?三种方式，??得到了?Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ机制可提升模型效果的结论，整个模型的结构与??Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构，如图２－２所示：??ｐ（ｙｉ＋ｉ｜ｘ，ｙｃ：０））?［ｃｎｃ３??／?ｈ?Ｘ?Ｐ??ｃｎｃ?Ｕ?Ｐ??飞＼?ｙｃ?ｘ?ｙｃ??＼?Ｅ?Ｆ?Ｇ??广」－、?Ｎ?ｆ?￣￣Ｎ??ｘ?ｙｃ?ｘ?ｙｃ??Ｖ?－／?Ｊ?Ｎｉ?？?、?？＞??图２－２模型架构与Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构??由于这种ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的实现方式比较古老（现己被ｓｅｑ２ｓｅｑ＋ａｔｔｉｏｎ??的实现方式取代），且本文并未采用，因此对模型具体的实现细节与公式不再赘??述，仅阐述ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的架构思想，以及强调Ａｔｔｅｎｔｉｏｎ机制对结果提升??有促进作用。??２．２．１．３?Ｂｅａｍ?Ｓｅａｒｃｈ?算法??为了提高模型的计算效率，在模型使用了?Ｂｅａｍ?Ｓｅａｒｃｈ算法。Ｂｅａｍ?Ｓｅａｒｃｈ??是一种启发式图搜索算法，它的本质是使用贪心策略（ｇｒｅｅｄｙ），在模型对解空??间的探测时，对其进行剪枝，丢弃掉一些质量比较差的解，只保留有限数量的优??秀解，从而达到提高模型预测速度的效果，其算法流程如下：???Ａｌｇｏｒｉｔｈｍ?１?Ｂｅａｍ?Ｓｅａｒｃｈ??Ｉｎｐｕｔ：?Ｐａｒａｍｅｔｅｒｓ?０
本文编号：2963519
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图２－１?ＣＮＮ／Ｄａｉｌｙ?Ｍａｉ丨数据集数据格式??
尝试了词袋（Ｂａｇ－ｏｆ－ｗｏｒｄ）、卷积（Ｃｏｎｖｏｌｕｔｉｏｎａｌ）、Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ?三种方式，??得到了?Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ机制可提升模型效果的结论，整个模型的结构与??Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构，如图２－２所示：??ｐ（ｙｉ＋ｉ｜ｘ，ｙｃ：０））?［ｃｎｃ３??／?ｈ?Ｘ?Ｐ??ｃｎｃ?Ｕ?Ｐ??飞＼?ｙｃ?ｘ?ｙｃ??＼?Ｅ?Ｆ?Ｇ??广」－、?Ｎ?ｆ?￣￣Ｎ??ｘ?ｙｃ?ｘ?ｙｃ??Ｖ?－／?Ｊ?Ｎｉ?？?、?？＞??图２－２模型架构与Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构??由于这种ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的实现方式比较古老（现己被ｓｅｑ２ｓｅｑ＋ａｔｔｉｏｎ??的实现方式取代），且本文并未采用，因此对模型具体的实现细节与公式不再赘??述，仅阐述ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的架构思想，以及强调Ａｔｔｅｎｔｉｏｎ机制对结果提升??有促进作用。??２．２．１．３?Ｂｅａｍ?Ｓｅａｒｃｈ?算法??为了提高模型的计算效率，在模型使用了?Ｂｅａｍ?Ｓｅａｒｃｈ算法。Ｂｅａｍ?Ｓｅａｒｃｈ??是一种启发式图搜索算法，它的本质是使用贪心策略（ｇｒｅｅｄｙ），在模型对解空??间的探测时，对其进行剪枝，丢弃掉一些质量比较差的解，只保留有限数量的优??秀解，从而达到提高模型预测速度的效果，其算法流程如下：???Ａｌｇｏｒｉｔｈｍ?１?Ｂｅａｍ?Ｓｅａｒｃｈ??Ｉｎｐｕｔ：?Ｐａｒａｍｅｔｅｒｓ?０
尝试了词袋（Ｂａｇ－ｏｆ－ｗｏｒｄ）、卷积（Ｃｏｎｖｏｌｕｔｉｏｎａｌ）、Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ?三种方式，??得到了?Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ机制可提升模型效果的结论，整个模型的结构与??Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构，如图２－２所示：??ｐ（ｙｉ＋ｉ｜ｘ，ｙｃ：０））?［ｃｎｃ３??／?ｈ?Ｘ?Ｐ??ｃｎｃ?Ｕ?Ｐ??飞＼?ｙｃ?ｘ?ｙｃ??＼?Ｅ?Ｆ?Ｇ??广」－、?Ｎ?ｆ?￣￣Ｎ??ｘ?ｙｃ?ｘ?ｙｃ??Ｖ?－／?Ｊ?Ｎｉ?？?、?？＞??图２－２模型架构与Ａｔｔｅｎｔｉｏｎ－Ｂａｓｅｄ编码器结构??由于这种ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的实现方式比较古老（现己被ｓｅｑ２ｓｅｑ＋ａｔｔｉｏｎ??的实现方式取代），且本文并未采用，因此对模型具体的实现细节与公式不再赘??述，仅阐述ｄｅｃｏｄｅｒ－ｅｎｃｏｄｅｒ的架构思想，以及强调Ａｔｔｅｎｔｉｏｎ机制对结果提升??有促进作用。??２．２．１．３?Ｂｅａｍ?Ｓｅａｒｃｈ?算法??为了提高模型的计算效率，在模型使用了?Ｂｅａｍ?Ｓｅａｒｃｈ算法。Ｂｅａｍ?Ｓｅａｒｃｈ??是一种启发式图搜索算法，它的本质是使用贪心策略（ｇｒｅｅｄｙ），在模型对解空??间的探测时，对其进行剪枝，丢弃掉一些质量比较差的解，只保留有限数量的优??秀解，从而达到提高模型预测速度的效果，其算法流程如下：???Ａｌｇｏｒｉｔｈｍ?１?Ｂｅａｍ?Ｓｅａｒｃｈ??Ｉｎｐｕｔ：?Ｐａｒａｍｅｔｅｒｓ?０
本文编号：2963519
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2963519.html
