基于SVM的中职学生作文评分系统的设计与实现
发布时间：2021-10-07 06:01
结合机器学习和文本分类技术,研究了基于支持向量机（SVM）的中等职业学校作文评分系统。使用爬虫技术大规模爬取中职学生作文集作为训练和测试集,进行中文分词、去除停用词和TF-IDF算法特征向量化,阈值过滤低价值词语,降低SVM算法的复杂度,将训练集的特征向量和标记数据输入SVM多分类模型进行训练,选取最优作文分类模型。分类模型来预测或判断未知级别的学生作文,给出相应评分等级。实验结果表明,该系统能够有效地分类作文等级,具有一定推广应用价值。
【文章来源】：信息技术. 2020,44(06)
【文章页数】：5 页
【部分图文】：
SVM分类原理图
由以上的分析可知,SVM被提出是用于解决二元分类问题,但实际的分类问题倾向于多分类应用[9]。多分类问题,通常是指多类分类器由多种支持向量的两种分类组成。在实际的应用过程中,将SVM应用于多分类问题主要有两种方法,第一种是基于两种支持向量机分类器扩展多分类支持向量机分类器,另一种方法是将更多分类问题逐步减少到两种类别。后者可分为一对多(1-v-r SVMs)和一对一(1-v-1 SVMs)的方法,它们的区别在于:一对一法采用在任意两类样本之间构造一个SVM分类器,如果训练样本中存在k个类别,则需要构造k(k-1)/2个SVM分类器,对于输入的测试样本,计算出来的该样本所属最大概率的类别即为该测试样本的分类;一对多法只需要对于k个类别的样本数据构造出k个SVM分类器,初始情况下将某类样本归为一类,剩下的样本为另一类,然后再对另一类样本进行二分类操作,直至达到k个类别为止,对于输入的测试样本,具有最大分类概率值的类别即为该测试样本的类别[10]。在实验过程中,本文采用的是一对多法,如图2所示,即将所有样本视为一个完整的二分法问题,并且根据爬行标签“cp_rating rating4”将爬取的数据分为三类——“优秀”,“良好”,“差”,初始状态下将训练集样本分为一类,然后就可以按照分层的方法构造三个SVM分类器,分别对应“优秀”、“良好”和“差”三个不同的类别,评估模型的效果,从中选取最好的训练模型。待模型训练稳定后,就可以用验证集进行验证,对预测集进行分类[11]。
实验中采用的Python提供的SVM分类类库Scikit-Learn作为实现SVM的工具。通过3.2节的运算,可以将每篇文章的特征提取出来,表示成一个列表,使用多分类的SVM算法训练模型,并使用该模型来预测测试集或作文,将文章特征值列表与其对应的评级值进行匹配。基于SVM的中职学生作文评分系统的整体流程图,如图3所示。本文设计的作文评分系统采用C/S架构进行开发,使用pyqt5进行前端界面的编写。用户可以注册、登录本系统,在用户登录成功后,系统界面提供了两种功能,一种是组合视图,另一种是组成等级,组成视图可以使用户能够查看数据库中的训练集学生作文,提取的特征和评分结果。组成等级功能允许用户自己输入或直接导入学生作文,使用评分分类模型,得到对学生作文的评价,作为辅助教师人员评判作文的一个参考。
【参考文献】：
期刊论文
[1]基于支持向量机的语音情感识别算法研究[J]. 刘明珠,李晓琴,陈洪恒. 哈尔滨理工大学学报. 2019(04)
[2]改进SVM分类和稀疏表示的图像混合去噪算法[J]. 赵蒙娜,李东兴,赵宗超,蔡亚南,吴秀东. 小型微型计算机系统. 2019(07)
[3]机器学习方法在储层分类中的应用[J]. 干磊,何东博,郭建林,孟凡坤. 数学的实践与认识. 2019(13)
[4]基于SVM与DOM重心半径模型的Web正文提取[J]. 易国洪,代瑜,冯智莉,黎慧源. 计算机工程. 2019(06)
[5]基于EMD和LSSVM组合模型的交通流量预测[J]. 连义平. 电子设计工程. 2019(11)
[6]基于支持向量机模型的复杂非线性系统试验不确定度评定方法[J]. 朱大业,丁晓红,王神龙,王海华,余慧杰. 机械工程学报. 2018(08)
[7]基于模糊二范数二次曲面支持向量机的信用评分研究[J]. 何杨,李洪心. 统计与决策. 2018(05)
硕士论文
[1]基于多核学习的支持向量机方法研究[D]. 张娇阳.北京建筑大学 2019
[2]基于改进SVM算法的大规模中文网站分类系统实现[D]. 张天澍.北京邮电大学 2019
[3]基于卷积神经网络的绿色信贷信用评价研究[D]. 唐亦玮.上海师范大学 2019
[4]基于支持向量机的并行文本分类方法研究[D]. 冯占芳.辽宁工业大学 2019
[5]基于SVD与SVM混合推荐的电影推荐系统的研究[D]. 薄慧丽.太原理工大学 2017
本文编号：3421489
【文章来源】：信息技术. 2020,44(06)
【文章页数】：5 页
【部分图文】：
SVM分类原理图
由以上的分析可知,SVM被提出是用于解决二元分类问题,但实际的分类问题倾向于多分类应用[9]。多分类问题,通常是指多类分类器由多种支持向量的两种分类组成。在实际的应用过程中,将SVM应用于多分类问题主要有两种方法,第一种是基于两种支持向量机分类器扩展多分类支持向量机分类器,另一种方法是将更多分类问题逐步减少到两种类别。后者可分为一对多(1-v-r SVMs)和一对一(1-v-1 SVMs)的方法,它们的区别在于:一对一法采用在任意两类样本之间构造一个SVM分类器,如果训练样本中存在k个类别,则需要构造k(k-1)/2个SVM分类器,对于输入的测试样本,计算出来的该样本所属最大概率的类别即为该测试样本的分类;一对多法只需要对于k个类别的样本数据构造出k个SVM分类器,初始情况下将某类样本归为一类,剩下的样本为另一类,然后再对另一类样本进行二分类操作,直至达到k个类别为止,对于输入的测试样本,具有最大分类概率值的类别即为该测试样本的类别[10]。在实验过程中,本文采用的是一对多法,如图2所示,即将所有样本视为一个完整的二分法问题,并且根据爬行标签“cp_rating rating4”将爬取的数据分为三类——“优秀”,“良好”,“差”,初始状态下将训练集样本分为一类,然后就可以按照分层的方法构造三个SVM分类器,分别对应“优秀”、“良好”和“差”三个不同的类别,评估模型的效果,从中选取最好的训练模型。待模型训练稳定后,就可以用验证集进行验证,对预测集进行分类[11]。
实验中采用的Python提供的SVM分类类库Scikit-Learn作为实现SVM的工具。通过3.2节的运算,可以将每篇文章的特征提取出来,表示成一个列表,使用多分类的SVM算法训练模型,并使用该模型来预测测试集或作文,将文章特征值列表与其对应的评级值进行匹配。基于SVM的中职学生作文评分系统的整体流程图,如图3所示。本文设计的作文评分系统采用C/S架构进行开发,使用pyqt5进行前端界面的编写。用户可以注册、登录本系统,在用户登录成功后,系统界面提供了两种功能,一种是组合视图,另一种是组成等级,组成视图可以使用户能够查看数据库中的训练集学生作文,提取的特征和评分结果。组成等级功能允许用户自己输入或直接导入学生作文,使用评分分类模型,得到对学生作文的评价,作为辅助教师人员评判作文的一个参考。
【参考文献】：
期刊论文
[1]基于支持向量机的语音情感识别算法研究[J]. 刘明珠,李晓琴,陈洪恒. 哈尔滨理工大学学报. 2019(04)
[2]改进SVM分类和稀疏表示的图像混合去噪算法[J]. 赵蒙娜,李东兴,赵宗超,蔡亚南,吴秀东. 小型微型计算机系统. 2019(07)
[3]机器学习方法在储层分类中的应用[J]. 干磊,何东博,郭建林,孟凡坤. 数学的实践与认识. 2019(13)
[4]基于SVM与DOM重心半径模型的Web正文提取[J]. 易国洪,代瑜,冯智莉,黎慧源. 计算机工程. 2019(06)
[5]基于EMD和LSSVM组合模型的交通流量预测[J]. 连义平. 电子设计工程. 2019(11)
[6]基于支持向量机模型的复杂非线性系统试验不确定度评定方法[J]. 朱大业,丁晓红,王神龙,王海华,余慧杰. 机械工程学报. 2018(08)
[7]基于模糊二范数二次曲面支持向量机的信用评分研究[J]. 何杨,李洪心. 统计与决策. 2018(05)
硕士论文
[1]基于多核学习的支持向量机方法研究[D]. 张娇阳.北京建筑大学 2019
[2]基于改进SVM算法的大规模中文网站分类系统实现[D]. 张天澍.北京邮电大学 2019
[3]基于卷积神经网络的绿色信贷信用评价研究[D]. 唐亦玮.上海师范大学 2019
[4]基于支持向量机的并行文本分类方法研究[D]. 冯占芳.辽宁工业大学 2019
[5]基于SVD与SVM混合推荐的电影推荐系统的研究[D]. 薄慧丽.太原理工大学 2017
本文编号：3421489
本文链接：https://www.wllwen.com/jiaoyulunwen/chuzhongjiaoyu/3421489.html
