教育政策文本的分类算法研究与应用

发布时间：2020-04-20 04:57

【摘要】：随着国家对教育事业的大力推进以及信息化技术的快速发展,教育政策数据在持续地膨胀,在线的教育政策数据已经海量化。如何高效管理海量的教育政策数据从而挖掘出更多有价值的信息已经变得十分困难。目前,依靠传统的人工方式来进行多种类别的教育政策数据的采集、分类与管理,工作量很大、任务十分繁杂难以完成。自然语言处理中的文本分类技术,可以在节省人力成本资源的基础上,更高效地对文本数据进行自动划分类别。因此,本文将文本分类技术应用到教育政策数据的自动分类中,快速定位以及准确查找教育政策数据,进而实现教育政策数据的信息化管理与可视化分析。本文以教育政策文本为研究对象,围绕教育政策数据的采集、文本分类和数据可视化进行研究,设计并实现了教育政策文本分类可视化系统。本文的主要工作如下:1.针对如何全面地获取大量教育政策数据的问题,本文通过分析北大法宝数据库网站的网页结构和特点,设计并实现了基于网络爬虫技术的教育政策数据采集模块。该模块通过模拟登录的方法解决身份认证问题,采用广度优先搜索算法的思想,结合Beautiful Soup、正则表达式和数据库等技术,实现了教育政策数据的采集。教育政策数据采集模块解决了请求北大法宝网站过于频繁、教育政策数据抓取不全面的问题,实现了对教育政策数据的全面高效采集。2.针对如何对教育政策准确分类的问题,本文提出了结合标题与正文注意力机制的文本分类算法。该算法根据教育政策文本含有标题和正文的特点,将文本按照标题和正文进行建模。在特征词的表示上,使用循环结构提取特征词的上下文语义信息,能够更好地消除特征词的歧义;在标题和正文文本表示上,使用最大池化技术来保留文本中重要的潜在语义信息;在整篇文本的表示上,使用注意力机制为标题和正文分配注意力权重,然后对文本进行向量表示,以充分利用教育政策的标题信息。通过与现有的分类算法进行实验对比,验证了该算法在教育政策文本分类问题上的优越性。3.为了加强教育政策领域的信息化管理,本文设计并实现了教育政策文本分类与可视化系统。一方面,通过将结合标题与正文注意力机制的文本分类算法应用在系统中,实现了教育政策的自动分类,减轻了教育政策管理人员的压力,提升了教育政策管理的效率;另一方面,通过分析及挖掘教育政策数据,实现了教育政策数据在地理位置上的分布信息与类别数量信息展示,能够直观的展示出教育政策的整体数据信息,来辅助教育政策主管部门做出决策。综上所述,本文首先设计了教育政策数据采集模块,实现了对教育政策数据高效全面的抓取。其次,提出了基于标题与正文注意力机制的教育政策分类算法,能够充分利用特征词的语义信息,并根据标题与正文对分类结果的重要性合理分配权重。通过在教育政策数据集上与其他算法进行实验对比,证明了本文算法优于对比算法。最后,设计并实现了教育政策文本分类与可视化系统,不仅可以提高教育政策分类的性能,还能提升教育政策管理工作的效率,有利于我国教育政策数据的信息化管理。
【图文】：

网络爬虫,流程,去重,队列

进行去重处理，并去除那些已经爬行过的ＵＲＬ，再把这些新的ＵＲＬ添加到待抓逡逑取的队列中用来循环抓取，直到满足爬虫程序的终止条件。通用的网络爬虫流程逡逑如图２．１所示。逡逑７逡逑

概率分布,模型结构,输出层

安徽大学硕士学位论文逦教育政策文本的分类算法研宄与应用逡逑Ｇｌｏｖｅ邋［３５］等，使用这些词向量训练工具可以很方便的训练到高质量的词向量，本逡逑文选用Ｇｏｏｇｌｅ开源的ｗｏｒｄ２ｖｅｃ作为词向量训练工具。逡逑ｗｏｒｄ２Ｖｅｃ根据设计思想不同，分为ＣＢＯＷ模型（Ｃｏｎｔｉｎｕｏｕｓ邋Ｂａｇ－ｏｆ－Ｗｏｒｄ逡逑Ｍｏｄｅｌ）和邋Ｓｋｉｐ－ｇｒａｍ邋模型（Ｃｏｎｔｉｎｕｏｕｓ邋Ｓｋｉｐ－ｇｒａｍ邋Ｍｏｄｅｌ）。它们的网络结构如图逡逑２．２所示，，均包含输入层、投影层与输出层。其中，ＣＢＯＷ模型的思想是根据窗口逡逑词来预测中心词，即使用一个词的上下文语义来预测这个词。它的输入层为窗口逡逑词的Ｏｎｅ－ｈｏｔ编码的分布式表示，投影层对输入做加权平均，输出层则使用逡逑ｓｏｆｔｍａｘ函数计算目标词的概率分布。而Ｓｋｉｐ－ｇｒａｍ根据中心词来预测窗口词，逡逑通过输入一个词来预测它之前和之后指定范围内的词出现的概率。它的输入是目逡逑标词分布式表示，输出层是目标词的窗口词的词向量。逡逑输入层逦投影层邋输出层逦输入层邋投影层邋输出层逡逑
【学位授予单位】：安徽大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;G40-011.8

【相似文献】