基于带有通配符序列模式和概率主题模型的多文档摘要技术研究
发布时间：2021-07-09 20:51
随着信息技术的迅猛发展,人们可以获取大量的文本数据;例如:Web新闻、科技文献、数字图书、电子邮件和微博等。如何有效地组织和管理海量的文本数据,快速、准确地从中找到用户所需的信息,成为智能信息处理研究领域面临的挑战之一。为此,从大量文档中提取简洁摘要信息的多文档摘要技术吸引了研究人员的广泛兴趣。近年来,电子商务和社交网络的快速发展催生出大量的书评影评、网络聊天、产品介绍等形式的短文本。这些短文本数据包含了大量有价值的隐含信息,对人们的日常生活产生了很大的影响。与长文档处理方法相比,因为短文档词汇具有非常少的词共现信息,使得传统的多文档摘要方法直接进行处理时效果不佳。因此,有效地提供精简内容的多文档摘要技术具有重要的研究价值和现实意义。本文在长文档的摘要技术和短文档的摘要技术研究的基础上,提出几种基于带通配符序列模式和概率主题模型的多文档摘要技术算法。主要研究工作如下:（1）提出一种基于闭合模式的多文档摘要算法。从词的计算角度上说,已有的多文档摘要提取方法可以分为基于词的方法和基于本体的方法:基于词的方法很难处理一词多义和多词一义的问题,基于本体的方法考虑了词语的语义信息,但是受限于具体...
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：112 页
【学位级别】：博士
【部分图文】：
图３．６基于模式的摘要算法的架构??Ｆｉ．?３．６?Ｔｈｅ?ｏｕｔｌｉｎｅ?ｏｆａｔｔｅｒｎ－ｂａｓｅｄ?ｓｕｍｍａｒｉｚａｔｉｏｎ??
．ｌｉｎｎ?Ｉ?－??ｉ圓Ｉ??ＲＯＵＧＥ－２?Ｒ０ＵＧＢ４??图３．?７不同方法在ＲＯＵＧ－２和ＲＯＵＧＥ－４上Ｆ－ｍｅａｓｕｒｅｓ的对比??Ｆｉｇ．?３．７?Ｃｏｍｐａｒｉｓｏｎ?ｏｆ?ｔｈｅ?ｍｅｔｈｏｄｓ?ｉｎ?ｔｅｒｍｓ?ｏｆ?ＲＯＵＧＥ－２?ａｎｄ?ＲＯＵＧＥ－４?Ｆ－ｍｅａｓｕｒｅｓ??３．４．３实验结果分析??这一节将讨论更多实验的细节。我们采用相对提高对比结果，这里相对提高定??义为（６－ａ）／ａ，其中Ｍ皮拿来与ａ比较。实验中６是ＰａｔＳｕｍ算法，ａ是我们将比较??的算法。表３．９显示了?ＰａｔＳｕｍ与其他方法比较的结果。??表３．９中，“＋”意味着ＰａｔＳｕｍ有更好的结果，是相反的意思。相比于最好??的基于本体的方法（Ｙａｇｏ），?ＰａｔＳｕｍ?分别提高了?０．０７，?０．０９，?０．０７，?０．１８，?０．１８?和?０．１８。??相比于基于词的方法ＭＳＳＦ，ＰａｔＳｕｍ分别提高了?０．０４，?０．０４；?０．０４，?０．１８，?０．１８和０．１８。??此外，其他的发现如下：??（１）
谌?禄?诖?ㄅ浞?蛄心Ｊ降亩辔牡嫡??惴ㄑ绣常崳?当参数Ｘ变化情况下，ＰａｔＳｕｍ的性能如图３．８所示。可以看出，当增加参数入??的值，性能先增加后降低。因为Ｘ的功能是权衡信息性和新颖性的，当Ｘ是非常小??时，ＰａｔＳｕｍ没考虑内容的信息性。相对应地，当人大于某一个阈值时（ｅ．ｇ．，０．５），少??考虑了算法的新颖性。因为信息性和新颖性对摘要系统都至关重要，最好的实验??结果是人等于０／５〇ｗｐ＝４）。??当最小支持度变化情况下，ＰａｔＳｕｍ的性能如图３．９所示。在情况下，??ＰａｔＳｕｍ可以得到最好的结果。进一步的结果如图３．９（ｂ）所示，当Ｘ从２到７，ＰａｔＳｕｍ??相对稳定。因为我们的算法能够解决算法中低频问题，意味着ＰａｔＳｕｍ很少被最小??支持度影响。当ｓｕｐ足够大的时候（大于６），实验结果很差归功于仅仅挖掘出很少??的模式。??０．１０３?－?０．０２?－??０．１０２?－??０．１０１?０．０１９?？?＼??ｉ?ａｉ?—?Ｖ?ｉ?Ｖ??Ｓ?０．０９９?１?０．０１８?－?＼??！?０．０９８?－?＊?Ｉ??０．０９７?Ｑ．Ｑ１７?＿?＊＊??０．０９６?－??０?０９５?＾?０．０１６???????????２?３?４?５?６?７?２３４５６?７???ｓｕｐ??ｓｕｐ??（ａ）?ＲＯＵＧＥ－２?Ｆ－ｍｅａｓｕｒｅ?（ｂ）?ＲＯＵＧＥ－４?Ｆ－ｍｅａｓｕｒｅ??图３．?９参数ｓｕｐ对ＰａｔＳｕｍ性能的影响（１＝０．５）??Ｆｉｇ．?３．９?Ｉｍｐａｃｔ?ｏｆ?ｓｕｐ?ｏｎ?ｔｈｅ?ＰａｔＳｕｍ?ｐｅｒｆｏｒｍａｎｃｅ?ｕｎｄｅｒ?Ｘ
【参考文献】：
期刊论文
[1]带通配符和One-Off条件的序列模式挖掘[J]. 吴信东,谢飞,黄咏明,胡学钢,高隽. 软件学报. 2013(08)
[2]一种求解MPMGOOC问题的启发式算法[J]. 武优西,吴信东,江贺,闵帆. 计算机学报. 2011(08)
本文编号：3274475
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：112 页
【学位级别】：博士
【部分图文】：
图３．６基于模式的摘要算法的架构??Ｆｉ．?３．６?Ｔｈｅ?ｏｕｔｌｉｎｅ?ｏｆａｔｔｅｒｎ－ｂａｓｅｄ?ｓｕｍｍａｒｉｚａｔｉｏｎ??
．ｌｉｎｎ?Ｉ?－??ｉ圓Ｉ??ＲＯＵＧＥ－２?Ｒ０ＵＧＢ４??图３．?７不同方法在ＲＯＵＧ－２和ＲＯＵＧＥ－４上Ｆ－ｍｅａｓｕｒｅｓ的对比??Ｆｉｇ．?３．７?Ｃｏｍｐａｒｉｓｏｎ?ｏｆ?ｔｈｅ?ｍｅｔｈｏｄｓ?ｉｎ?ｔｅｒｍｓ?ｏｆ?ＲＯＵＧＥ－２?ａｎｄ?ＲＯＵＧＥ－４?Ｆ－ｍｅａｓｕｒｅｓ??３．４．３实验结果分析??这一节将讨论更多实验的细节。我们采用相对提高对比结果，这里相对提高定??义为（６－ａ）／ａ，其中Ｍ皮拿来与ａ比较。实验中６是ＰａｔＳｕｍ算法，ａ是我们将比较??的算法。表３．９显示了?ＰａｔＳｕｍ与其他方法比较的结果。??表３．９中，“＋”意味着ＰａｔＳｕｍ有更好的结果，是相反的意思。相比于最好??的基于本体的方法（Ｙａｇｏ），?ＰａｔＳｕｍ?分别提高了?０．０７，?０．０９，?０．０７，?０．１８，?０．１８?和?０．１８。??相比于基于词的方法ＭＳＳＦ，ＰａｔＳｕｍ分别提高了?０．０４，?０．０４；?０．０４，?０．１８，?０．１８和０．１８。??此外，其他的发现如下：??（１）
谌?禄?诖?ㄅ浞?蛄心Ｊ降亩辔牡嫡??惴ㄑ绣常崳?当参数Ｘ变化情况下，ＰａｔＳｕｍ的性能如图３．８所示。可以看出，当增加参数入??的值，性能先增加后降低。因为Ｘ的功能是权衡信息性和新颖性的，当Ｘ是非常小??时，ＰａｔＳｕｍ没考虑内容的信息性。相对应地，当人大于某一个阈值时（ｅ．ｇ．，０．５），少??考虑了算法的新颖性。因为信息性和新颖性对摘要系统都至关重要，最好的实验??结果是人等于０／５〇ｗｐ＝４）。??当最小支持度变化情况下，ＰａｔＳｕｍ的性能如图３．９所示。在情况下，??ＰａｔＳｕｍ可以得到最好的结果。进一步的结果如图３．９（ｂ）所示，当Ｘ从２到７，ＰａｔＳｕｍ??相对稳定。因为我们的算法能够解决算法中低频问题，意味着ＰａｔＳｕｍ很少被最小??支持度影响。当ｓｕｐ足够大的时候（大于６），实验结果很差归功于仅仅挖掘出很少??的模式。??０．１０３?－?０．０２?－??０．１０２?－??０．１０１?０．０１９?？?＼??ｉ?ａｉ?—?Ｖ?ｉ?Ｖ??Ｓ?０．０９９?１?０．０１８?－?＼??！?０．０９８?－?＊?Ｉ??０．０９７?Ｑ．Ｑ１７?＿?＊＊??０．０９６?－??０?０９５?＾?０．０１６???????????２?３?４?５?６?７?２３４５６?７???ｓｕｐ??ｓｕｐ??（ａ）?ＲＯＵＧＥ－２?Ｆ－ｍｅａｓｕｒｅ?（ｂ）?ＲＯＵＧＥ－４?Ｆ－ｍｅａｓｕｒｅ??图３．?９参数ｓｕｐ对ＰａｔＳｕｍ性能的影响（１＝０．５）??Ｆｉｇ．?３．９?Ｉｍｐａｃｔ?ｏｆ?ｓｕｐ?ｏｎ?ｔｈｅ?ＰａｔＳｕｍ?ｐｅｒｆｏｒｍａｎｃｅ?ｕｎｄｅｒ?Ｘ
【参考文献】：
期刊论文
[1]带通配符和One-Off条件的序列模式挖掘[J]. 吴信东,谢飞,黄咏明,胡学钢,高隽. 软件学报. 2013(08)
[2]一种求解MPMGOOC问题的启发式算法[J]. 武优西,吴信东,江贺,闵帆. 计算机学报. 2011(08)
本文编号：3274475
本文链接：https://www.wllwen.com/jingjilunwen/dianzishangwulunwen/3274475.html
