基于N元分析与词频统计的文本复合标引研究

发布时间：2020-07-03 02:50

【摘要】： 科学技术的发展已将人类带入智能化的信息社会,使得信息成为重要的资源,但随之也带来了信息资源的爆炸性增长和无限扩张。面对庞大的信息资源,信息处理成为人们有效利用信息必须借助的关键手段。在信息处理中,一项重要的工作就是根据原文信息内容产生简明准确的信息标引,因为信息标引的质量在一定程度上决定了信息处理的效果,也就必然影响信息对于人们的利用价值。在此背景下,研究出低成本、高效率的信息标引方法显得至关重要。因此,本文围绕自动标引技术和方法,以文本信息的自动标引作为研究对象,利用比较分析与实验分析相结合的研究方法,针对N-gram标引和词频统计标引展开研究与探讨。在此基础上,提出了基于N元分析与词频统计的文本复合标引这一新型标引方法。本文主体内容如下: 首先,本文从文本和自动标引相关介绍切入,对自动标引的研究发展进行了系统的回顾与总结,重点从自动标引基本理论的宏观层面划分、自动标引发展过程中兼具创新性与影响力的代表性方法纵览以及自动标引研究路线图三方面进行简要论述,继而指出自动标引发展中存在的问题和可能的解决途径,引出本文的复合标引这一研究主题。其次,本文从原理、方法和实现过程三个角度对词频统计标引和N-gram标引两种方法进行较为全面系统的分析与比较,阐述了两种方法在本质上的一致性和方法过程上的互补性,通过引入统计学领域中的条件概率和信息论领域中的信息熵这两个工具,将N-gram标引和词频统计标引有效的复合为一体,提出了兼具二者优势的基于N元分析与词频统计的文本复合标引方法,并对其进行了详细的介绍,给出了具体的实现过程。最后,本文采用实验分析法,通过对比试验,进一步的从实践的角度论证本文提出的文本复合标引方法在理论方面的正确性和在应用实践方面的可行性与有效性,相关实验结果也对本文的方法提供了有力的论证。因此,本文的研究工作具有一定的创新性,同时对他人在自动标引方法的复合研究方面也具有一定的借鉴和指导意义。
【学位授予单位】：南开大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：G254.361
【图文】：

自动标引,语块,维度

在这一方面，章成志f’〕对这三个领域分别从自动化程度维度和知识复杂程度维度(先后经历字、词、短语、语块、句法、语义、篇章结构等不同颗粒度的多种知识。)这两个维度对自动标引进行了较为全面的概括总结形成图2.3如下:深层算杂知祺磁欲阿娜润，严撬徽徽‘…“兜全人工标弓犷分家择引合由振弓曰叫，’‘口翻.，二‘层圈，厂‘撬默圈，·厂语块魏烈熊l}道滋场诚厂兜全自动悔弓耳「而砰蔽〕，厂辱平牢厂一厂~假泌层碑单知识图2.3自动标引研究路线图资料来源:章成志.白动标引研究的回顾与展望.现代图书情报技术，2007(n):35，」章成志.自动标引研究的回顾

界面图,标引,文本,界面

缩冗余的N一gram数量。(2)从文本库中载入待标引处理的文本。在本文中，这一部分要求建立相应的处理程序相关的人工干预机制，相关程序输出界面如图4.1所示。图4.1从文本库中载入待标引处理文本界面资料来源:作者整理(3)对载入的文本进行预处理。此过程分为两步，首先，凡是遇到空格、数字、英文单词等，将字符串折为两段并存入某一数组中;其次，对上一步处理结果的语段进行再处理，凡是遇到汉语中的标点、虚词等停用词时，再次拆分并存入数组。(4)从载入的文本开始按n=2，3，4，步长为l

【相似文献】