融合主题语义的信息检索模型研究
发布时间：2021-11-26 12:22
处在信息时代,信息搜索成了人们生活不可缺少的部分,背后支撑的信息检索技术尤为重要。传统的信息检索模型通过匹配文档和查询中词项返回相关文本,其中关键之一在于统计显式的词频特征,但词频规范化通常含有超参数需要优化。基于传统检索模型的词项关联（或依赖）模型以及传统的伪相关反馈模型绝大部也是在统计显式的词项特征,这样容易导致匹配失败。为了解决这个问题,研究者们开始在信息检索中使用主题模型来挖掘文档和词项的隐式语义特征。主题模型生成一种概率分布,很自然地将主题模型引入语言模型框架并取得了一定的成功。但如何将文档和词项的主题语义简单有效地融入到著名的传统检索模型（如概率模型）和伪相关反馈模型尚不明确。针对这些不足,本文分别研究了概率模型BM25中的词频规范化方法、融合词项主题语义的检索模型、融合文档主题语义的重排序检索方法和伪相关反馈技术,主要的研究工作如下:（1）提出了一种基于查询长度词频规范化的概率信息检索模型BM25QL。在概率模型BM25中,规范化词频是一个重要组成部分,由两个参数k1和b控制,通常需要在给定的数据集上优化它们。经验地发现查询长度对词频规范化的影响可以优化检索性能,通过数学...
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：108 页
【学位级别】：博士
【部分图文】：
图３．１知２仏／）函数图像??３．３．３新词频规范化模型：ＢＭ２５ｑｌ??
Ｘｅｘｐ?＼＼?．??似挪先咖?、＼?ＬＱＡ－ＢＭａＳ＾＾００?＼＼??ｎ?１?ｎｅｅ?Ａ?Ｄ－〇６?＿＿?〇■??－＊－ＬＤＡ－ＳＭ２５ｑｌｒ￡ｃ?＼??－？ｒ－?ＬＤＡ－ＬＭ?ｉ＞?０．０４?ＬＤＡ－ＬＭ??－４－－ＬＤＡ－ＭＡ７Ｆ?－？－ＬＤＡ－Ｋ？ＡＴＦ??〇〇５〇?Ｑ．１?Ｑ２．?０．３?ＱＡ?０５?０．６?０．７?０．８?０．９?１．０?〇〇２〇?０＿１?０２?０．３?０Ａ?０＿５?０．６?０．７?０．８?０．９?１．０??Ｘ?Ｘ??图４．２参数／ｌ的敏感性??４．５．３与当前水平模型的比较??此外，还对比了两种代表当前水平的方法。在基于ＢＭ２５模型框架下，Ｚｈａｏ等人［２（），２１］提出??的基于ＢＭ２５的二元交叉词项模型ＣＲＴＥＲ２与当前主流的概率邻近度模型ＰＰＭ［１８ＷＰ?ＢＭ２５ＴＰ［１９］??不相上下。在基于主题模型的语言模型框架中，与提出的ＬＤＡ－ＬＭ最为接近的ＬＢＤＭ模型［２６］??在以往取得了最好的结果［２８】。因此，将所提出的模型分别与ＣＲＴＥＲ２和ＬＢＤＭ进行直接的对??比，实验对比结果见表４．６。??表４．６比较ＴｏｐｌＲ模型与当前水平模型ＣＲＴＥＲ２和ＬＢＤＭ的ＭＡＰ值??ＣＲＴＥＲｉ?ＬＤＡ－ＢＭ２５?ＬＤＡ－ＢＮ＾ｑｉ＾?ＬＤＡ－ＢＮＵＳｇｉ＾００?ＬＤＡ－ＢＮ＾ｑｌ１＾?ＬＢＤＭ?ＬＤＡ－ＬＭ??ＡＰ９０?０．２７７４?０．２９８２Ｔ?０．２９９９Ｔ?０．３００５Ｔ?０．３００９Ｔ?０．２９４４?０．２８７１??ＡＰ８８－８９?０．２９２３?０．３１０５Ｔ?０．３１１２Ｔ?０．３１０８Ｔ?０．３１０９Ｔ?０．３０９４?０．３
?．Ｚｔ：，?．、、１?２?、、．??Ｈ２４、，?？：，?（Ｌ２４？，一??——??＊?＾?１１－?＾?ｒ?－■〇－＊＊－＊???ｃ－?＾??０２２－?０２２－?－??０２?？?－?０．２－??、?？－??Ｖ??０．１８－?、，，?０．１８－??〇１６〇?０．１?０．２?０．３?０．４?０．５?０．６?０．７?０．８?０．９?１．０?°?１６〇?０．１?０２?０．３?０．４?０．５?０．６?０．７?０．８?０．９?１．０??ａ?ａ??图５．２反馈系数的敏感性??６．５．４与基于主题的伪相关反馈模型比较??表６．３与ＴｏｐＰＲＦ模型对比提升百分比??＼ｆ］?ＴｏｐＰＲＦ１３７１?ＴｏｐＲｏｃ－ＴＳ?ＴｏｐＲｏｃ－ＴＤ?ＴｏｐＲＭ３－ＴＳ?ＴｏｐＲＭ３－ＴＤ??ＤＩＳＫＩ?＆２??１０?＋１．９２％?＋３．０５％?ｆＴ?＋２．１１％?ｆｔ?＋１．９１％?＋０．７１％??２０?－０．７１％?＋１．３３％?ｆｔ?＋３．８８％?ｆｔ?＋２．３８％？?＋１．４７％?ｆｔ??３０?＋４．２４％?＋４．６４％?ｆｔ?＋４．８８％?ｆｔ?＋２．９３＊／．?＋１．５５％??５０?＋３．４２％?＋６．１９％?ｆｔ?＋６．０２％?ｆｔ?＋３．１?ＩＶ．?＋１．２４％??Ａｖｅｒａｇｅ?＋２．１８％?＋３．７７％?ｆＴ?＋４．２２％?ｆｔ?＋２．６１％?Ｈ?＋１．２７％??ＤＩＳＫ４＆５??１０?＋５．５３％?＋０．７６％?＋２．９２％?＋３．３１％?＋０．０４％??２０?＋４．６３％?＋３．０７％?＋４．８８％?ｆｔ?＋３．８８％?＋０．２９％??３０?＋４
【参考文献】：
期刊论文
[1]基于图的特征词权重算法及其在文档排序中的应用[J]. 黄云,洪佳明,颜一鸣. 计算机系统应用. 2012(06)
[2]自然语言处理中主题模型的发展[J]. 徐戈,王厚峰. 计算机学报. 2011(08)
硕士论文
[1]LDA在信息检索中的应用研究[D]. 何锦群.天津理工大学 2014
本文编号：3520136
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：108 页
【学位级别】：博士
【部分图文】：
图３．１知２仏／）函数图像??３．３．３新词频规范化模型：ＢＭ２５ｑｌ??
Ｘｅｘｐ?＼＼?．??似挪先咖?、＼?ＬＱＡ－ＢＭａＳ＾＾００?＼＼??ｎ?１?ｎｅｅ?Ａ?Ｄ－〇６?＿＿?〇■??－＊－ＬＤＡ－ＳＭ２５ｑｌｒ￡ｃ?＼??－？ｒ－?ＬＤＡ－ＬＭ?ｉ＞?０．０４?ＬＤＡ－ＬＭ??－４－－ＬＤＡ－ＭＡ７Ｆ?－？－ＬＤＡ－Ｋ？ＡＴＦ??〇〇５〇?Ｑ．１?Ｑ２．?０．３?ＱＡ?０５?０．６?０．７?０．８?０．９?１．０?〇〇２〇?０＿１?０２?０．３?０Ａ?０＿５?０．６?０．７?０．８?０．９?１．０??Ｘ?Ｘ??图４．２参数／ｌ的敏感性??４．５．３与当前水平模型的比较??此外，还对比了两种代表当前水平的方法。在基于ＢＭ２５模型框架下，Ｚｈａｏ等人［２（），２１］提出??的基于ＢＭ２５的二元交叉词项模型ＣＲＴＥＲ２与当前主流的概率邻近度模型ＰＰＭ［１８ＷＰ?ＢＭ２５ＴＰ［１９］??不相上下。在基于主题模型的语言模型框架中，与提出的ＬＤＡ－ＬＭ最为接近的ＬＢＤＭ模型［２６］??在以往取得了最好的结果［２８】。因此，将所提出的模型分别与ＣＲＴＥＲ２和ＬＢＤＭ进行直接的对??比，实验对比结果见表４．６。??表４．６比较ＴｏｐｌＲ模型与当前水平模型ＣＲＴＥＲ２和ＬＢＤＭ的ＭＡＰ值??ＣＲＴＥＲｉ?ＬＤＡ－ＢＭ２５?ＬＤＡ－ＢＮ＾ｑｉ＾?ＬＤＡ－ＢＮＵＳｇｉ＾００?ＬＤＡ－ＢＮ＾ｑｌ１＾?ＬＢＤＭ?ＬＤＡ－ＬＭ??ＡＰ９０?０．２７７４?０．２９８２Ｔ?０．２９９９Ｔ?０．３００５Ｔ?０．３００９Ｔ?０．２９４４?０．２８７１??ＡＰ８８－８９?０．２９２３?０．３１０５Ｔ?０．３１１２Ｔ?０．３１０８Ｔ?０．３１０９Ｔ?０．３０９４?０．３
?．Ｚｔ：，?．、、１?２?、、．??Ｈ２４、，?？：，?（Ｌ２４？，一??——??＊?＾?１１－?＾?ｒ?－■〇－＊＊－＊???ｃ－?＾??０２２－?０２２－?－??０２?？?－?０．２－??、?？－??Ｖ??０．１８－?、，，?０．１８－??〇１６〇?０．１?０．２?０．３?０．４?０．５?０．６?０．７?０．８?０．９?１．０?°?１６〇?０．１?０２?０．３?０．４?０．５?０．６?０．７?０．８?０．９?１．０??ａ?ａ??图５．２反馈系数的敏感性??６．５．４与基于主题的伪相关反馈模型比较??表６．３与ＴｏｐＰＲＦ模型对比提升百分比??＼ｆ］?ＴｏｐＰＲＦ１３７１?ＴｏｐＲｏｃ－ＴＳ?ＴｏｐＲｏｃ－ＴＤ?ＴｏｐＲＭ３－ＴＳ?ＴｏｐＲＭ３－ＴＤ??ＤＩＳＫＩ?＆２??１０?＋１．９２％?＋３．０５％?ｆＴ?＋２．１１％?ｆｔ?＋１．９１％?＋０．７１％??２０?－０．７１％?＋１．３３％?ｆｔ?＋３．８８％?ｆｔ?＋２．３８％？?＋１．４７％?ｆｔ??３０?＋４．２４％?＋４．６４％?ｆｔ?＋４．８８％?ｆｔ?＋２．９３＊／．?＋１．５５％??５０?＋３．４２％?＋６．１９％?ｆｔ?＋６．０２％?ｆｔ?＋３．１?ＩＶ．?＋１．２４％??Ａｖｅｒａｇｅ?＋２．１８％?＋３．７７％?ｆＴ?＋４．２２％?ｆｔ?＋２．６１％?Ｈ?＋１．２７％??ＤＩＳＫ４＆５??１０?＋５．５３％?＋０．７６％?＋２．９２％?＋３．３１％?＋０．０４％??２０?＋４．６３％?＋３．０７％?＋４．８８％?ｆｔ?＋３．８８％?＋０．２９％??３０?＋４
【参考文献】：
期刊论文
[1]基于图的特征词权重算法及其在文档排序中的应用[J]. 黄云,洪佳明,颜一鸣. 计算机系统应用. 2012(06)
[2]自然语言处理中主题模型的发展[J]. 徐戈,王厚峰. 计算机学报. 2011(08)
硕士论文
[1]LDA在信息检索中的应用研究[D]. 何锦群.天津理工大学 2014
本文编号：3520136
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3520136.html
最近更新
教材专著
