基于宏观经济指标和BP神经网络人工智能方法的上证综合指数预测
【摘要】 随着我国市场经济的高速发展和证券市场的逐步完善,越来越多的投资者参与到股票市场当中,希望通过股票投资来分享经济增长的成果。但股票市场是一个复杂的市场,它不仅要受到国内经济、政治、心理各方面的影响,也要受到国际经济和政治等方面的影响,同时这些因素之间又以复杂的形式相互影响着。所以通过对股票市场的详尽剖析,建立一个稳定并且相对准确的股票预测模型,对广大投资者,特别是中小投资者具有重要的实用价值。对于成熟资本市场来说,股市的走势会受到宏观经济运行的影响,而股市也是经济运行情况的“晴雨表”,所以可以通过宏观经济指标来对股市的走势做出预测。但我国股票市场是不是我国经济的“晴雨表”呢?自从2005年股权分置改革以后,制约我国股票市场发展的根本性的制度问题得到了解决,我国股市像脱缰的野马走上了快速发展的道路。健全的法律体系逐步建成,立体化的市场结构也逐渐明确,股市逐步向成熟资本市场的方向发展,股市经济“晴雨表”的功能也越来越明显。而且现有的研究成果也表明,我国股市在一定程度上还是反映了我国经济运行的整体状况,个别宏观经济变量对股价变动的解释能力很强。这就奠定了使用宏观经济指标来预测股市价格走势的基础。在股市价格预测中最主要的方法是以基本分析技术分析为代表的传统分析法和以时间序列为代表的计量模型法。传统分析法在实践中使用比较多,它对股市的预测主要取决于使用者自己的经验,不具有客观性。以时间序列为代表的股市预测方法主要在学术研究中使用,这些方法往往对样本要求比较高,而且在处理非线性问题时时间序列模型就显得力不从心。在这样的背景之下,近年来快速发展的人工智能方法得到了金融研究者的关注。人工智能方法就是模仿人脑学习知识的原理来让计算机自动的学习客观事物存在的内部规律。人工智能由于其较强的学习能力已经在多个领域得到广泛的应用,包括分类问题、模式识别和信号处理等。在金融领域,由于人工智能方法具有较强的非线性拟合能力,所以也得到了广泛的应用。利用人工智能方法预测股市就是给出与股票价格相关的变量,然后通过人工智能的方法自动的发现变量与股票价格之间的关系,从而利用这种关系来预测股票价格的变动。在人工智能方法中最常用的就是神经网络方法和支持向量机方法。神经网络方法种类较多,在众多方法中由于BP神经网络即误差反向传播网络具有优良的网络性能所以得到了广泛的应用。在以往利用宏观经济指标预测股市价格走势的研究中大部分的学者主要使用计量模型的方法,很少有人使用人工智能方法。而使用人工智能方法预测股市时的学者们又很少使用宏观变量,大多都是使用股市技术指标来对股市短期走势做出预测,很少有学者利用宏观经济变量结合人工智能方法对股市的中长期走势做出预测。在这样的背景下,本文以上证指数作为我国股票市场的代表,利用宏观经济指标,使用人工智能方法对上证指数的走势做出预测。上证指数样本主要选取2005年股权分置改革以后的数据。宏观经济变量主要选取2005年以后的月度数据。在人工智能方法中本文主要使用神经网络和支持向量机两种方法。在神经网络方法中,BP神经网络由于具有良好的拟合能力和容错能力成为使用最为广泛的神经网络模型之一,但是BP神经网络模型又有自己的局限性,本文在前人提出的改进BP神经网络的基础之上提出了使用贝叶斯正则算法和提前停止算法相结合的方法来改进标准的BP神经网络。在提出改进的BP神经网络模型之后,本文分别使用改进的BP神经网络和支持向量机方法对上证指数做出预测,并对两种方法的预测结果做出比较。文章具体安排如下：第一章为前言部分,主要介绍文章研究的背景、意义以及研究思路和方法。第二章为宏观经济与股市预测部分,该部分主要包括以下几个方面内容,首先是宏观经济指标介绍,该部分介绍了反映宏观经运行情况的几个重要宏观经济指标,这几个宏观经济指标同时也是后文实证过程中将会用的变量。随后介绍了目前在股市预测中主要使用的三种方法：传统法、时间序列法和人工智能法。第一种方法在实际操作中使用比较广泛,而后两种方法在理论研究方面使用比较多。最后介绍了宏观经济与股市的关系以及两者关系的国内外研究状况。第三章为神经网络部分,该部分从神经网络的研究现状入手,先后依次介绍了神经网络的相关理论,特点及其分类,之后着重介绍了本文研究的BP神经网络的学习算法以及特点,然后根据BP神经网络的学习特点,对目前针对其性能的改进方法做介绍,这些方法主要解决了标准BP神经网络收敛速度慢,精度不高的问题。之后在前人的基础之上提出本文改进BP神经网络的算法,即使用贝叶斯正则算法和提前停止算法相结合改进标准BP神经网络。第四章为支持向量机部分,该部分从支持向量机的国内外研究现状出发,主要介绍了支持向量机的相关理论,通过统计学习理论与传统机器学习理论的对比,说明统计学习理论的结构风险最小化很好的解决了传统机器学习中经验风险最小化的缺陷,进而介绍了建立在统计学习理论基础之上的支持向量机理论,并对核函数做简要介绍。第五章为实证部分,在前述理论的基础之上,本章分别利用贝叶斯正则算法和提前停止算法相结合的BP神经网络和支持向量机对上证指数的月度收盘价进行预测,并对预测结果做评价。通过对上证指数预测的实证研究,本文得出以下几个结论：第一、利用宏观经济指标并结合人工智能方法对上证指数的中长期走势做预测是具有可行性的,在实证研究中两种人工智能方法都得到了比较理想的预测效果。第二、确定BP神经网络隐藏层神经元个数是网络结构设计中的重点,本文采用如下的确定方法,限制隐藏神经元最小最大个数,然后利用穷举法遍历最小最大个数之间的所有情况,将其作为隐藏神经元个数,然后选择误差输出最小的网络作为本文的BP神经网络模型；第三、本文通过对使用贝叶斯正则算法的BP神经网络的研究,发现贝叶斯正则算法虽然可以提高网络的泛化能力,但是根据实证研究发现,网络过多的训练次数可能导致使用贝叶斯正则算法的BP神经网络出现过拟合的现象,最终导致网络的泛化能力下降；第四、经过实证研究发现,使用贝叶斯正则算法和提前停止算法相结合的BP神经网络可以有效的防止单独使用贝叶斯正则算法出现的过拟合现象,从而提高了网络的泛化能力。在使用提前停止算法中过早的根据验证样本输出误差提前停止网络的训练可能会造成网络训练不充足造成网络精度不够,本文实证研究发现在验证样本集误差连续上升6次的时候提前停止网络训练,网络可以达到比较理想的效果；第五、通过改进的BP神经网络与支持向量机对上证指数收盘价预测效果比较可知,支持向量机的预测效果要好于BP神经网络。支持向量机预测有坚实的统计学习理论基础,所以网络预测效果比较好,表现比较稳定。相对支持向量机,BP神经网络的稳定性不是很高,在选定网络结构后网络需要通过反复的训练才可能达到比较理想的效果。本文可能的创新点：第一、通过实证证明使用贝叶斯正则算法的BP神经网络在充分训练的状况下可能造成网络过拟合,造成网络泛化能力下降；第二、提出了贝叶斯正则算法与提前停止算法相结合的方法来改进BP神经网络；第三、在使用提前停止算法时,提出当验证样本误差连续上升6次时停止对网络的训练,此时得到的网络性能比较好；第四、设计良好的BP神经网络的预测误差精度可以接近使用支持向量机模型的误差精度。虽然本文在利用宏观经济指标结合人工智能方法预测上证指数的问题上做出了尝试性研究,但鉴于目前人工智能方法还是一个比较新的学科,其在金融预测领域的应用也处在探索阶段,并且本人的理论功底还不够扎实,知识结构还不够全面,所以在问题的研究中肯定会存在诸多不足之处,敬请各位专家学者批评指正,本人必定在以后的工作和学习中努力学习、积极探索。谢谢各位评审老师和答辩老师!
1前言
作为中国资本市场重要组成部分的股票市场，从建立之初到现在已经走过了二十多年的风雨路程。在这二十多年中，中国股市从最初只有十几家上市公司，不足百亿的市场规模逐步发展到现在成为拥有超过两千家上市公司，总市值达二十多万亿的繁荣市场，而且随着我国经济的高速发展，人民收入的逐步提高，人民参与金融投资进行理财的意识越来越强，越来越多的民众希望通过参与资本市场来分享中国经济发展的成果。据有关数据统计，到目前为止沪深A股的有效账户已经超过一个亿，所以股票市场已经成为影响普通百姓正常生活的一个重要市场，股票市场的任何波动不仅会影响到人们的财富数量，甚至会影响到金融市场和经济运行的稳定性。所以通过研究股票市场的内在规律，把握规律，并利用这种规律指导广大投资者特别是中小投资者日常投资行为对社会和广大股民都是非常有意义的。对于成熟资本市场来说，股票市场通常被人们称作是经济运行的“晴雨表”，股票市场往往可以比较准确并且提前的反映经济运行的整体状况。在我国虽然证券市场发展历史不长，市场表现出新兴加转轨的特征，但中国A股市场走势还是基本上反映了中国宏观经济的整体运行情况。特别是在2005年启动股改以来，股市“晴雨表”的功能越来越明显了。2005年股权分置改革的启动对于中国证券业的发展是具有里程碑意义的，它从制度入手解决了困扰我国股票市场的根本问题，极大的促进了证券市场法律体系的建立，并使上市公司的股权治理结构从根本上得到改善，使我国股市开始进入了全流通时代，从此中国股市的发展如脱缰的野马快速发展。在市场制度方面，新证券法实施标志着中国证券市场法律体系逐步建立起来并且在发展中逐步完善。在市场结构方面，以主板、中小板、创业板为主，新三板为补充的多层次市场结构已经形成。在投资渠道和品种上，2010年开放了融资融券业务并推出了股指期货。与此同时，在“十一五’’期间我国股票市场容量得到大幅的扩充，一大批有实力并且关系国家命脉的国有大企业通过IPO和并购等多种手段加入到中国股市当中来，使得当前的我国股票市场的运行情况与宏观经济的冷暖程度越来越密切。所以制度的逐步完善、多层次市场结构的形成和更多优质公司加入到我国股票市场这几个因素共同促进了股票市场的经济“晴雨表”功能。在这样的背景下，我们探讨利用反映宏观经济运行情况的经济指标来对上证指数做出预测的可行性。
总结国内外股票预测方法，大致可以分为三类：一、以基本分析技术分析为主的传统方法；二、以时间序列为主的计量经济学方法；三、以神经网络和支持向量为主的人工智能方法。在传统股票预测方法中，技术分析被广泛使用，它有众多方法，比较著名的有K线理论、江恩理论、波浪理论等，这些方法在预测股市过程中人的主观因素往往占很大的成分，仁者见仁、智者见智，对预测没有一个统一的结果。以计量为主的时间序列股票预测方法，其对样本的选择有比较严格的要求，在预测过程中对模型假设条件比较多，只有在满足某种假设的前提下，预测效果才会比较满意，而且股票市场是一个高度的非线性市场，计量方法在遇到非线性问题时往往力不从心。随着计算机科学技术和数据挖掘技术的快速发展，人工智能方法得到了空前的发展，在信号处理和模式识别方面得到了广阔的应用。人工智能方法在应用时不用对样本数据的特征进行假设，它可以根据样本本身自动调整自身结构学习样本规律，并且对非线性问题可以无限逼近拟合。正是人工智能方法的这些特点弥补了传统股票预测方法和时间序列方法的众多不足，所以在股票预测方面该方法有独特的优势。
在众多的人工智能方法中神经网络和支持向量机是研究最多应用最广泛两种方法。其中神经网络方法中有多种模型，其中误差反向传播神经网络（BP神经网络）是应用最为广泛的一种模型。所以本文选取误差反向传播神经网络和支持向量机对上证指数做出预测。在使用BP模型过程中很容易造成过拟合问题，如何提高模型的泛化能力一直是人们研究BP模型的重点。本文在一般BP模型的基础上提出使用贝叶斯正则算法和提前停止算法相结合的改进BP模型，从而很好的提高了模型的泛化能力，防止了过拟合现象的出现，使得模型预测达到了预期的效果。在以往使用人工智能方法预测股票的模型中人们研究的重点主要集中在使用股票的价格、成交量和各种技术指标对股票短期价格走势做出预测，很少有人对中长期走势的预测做过研究。因此本文提出从宏观经济指标的角度出发对上证指数中期的走势进行预测。随着我国证券市场的逐步发展和完善，逐渐走向成熟的资本市场，证券市场的“晴雨表”功能也日趋完善，能对股市中长期走势做出预测，不仅可以对股票投资形成一定的参考，而且对国家宏观经济调控提供一种参考，具有重要的理论和现实意义。而且随着我国金融投资品种的丰富，金融衍生品的发展，中长期的股票预测在衍生品定价过程中同样也可以发挥重要的作用。
2.宏观经济与股市预测
股票市场通常被人们认为是宏观经济的“晴雨表”，说明宏观经济与股票市场之间存在着一定的联系，通过股票市场可以反映宏观经济的运行好坏，同样通过宏观经济也可以预测股票市场的运行趋势。本章主要介绍反映宏观经济运行的重要指标以及宏观经济与股票市场的关系及研究状况，并对股市预测的方法做出总结。
2.1宏观经济
宏观经济分析是股票价格预测中的一个重要方面，宏观经济是指一国经济的整体运行情况，主要反映的是总供给和总需求之间的关系。反映总供给与总需求关系的宏观经济又必须通过一套完整的指标体系表现出来。这一指标体系包括了经济运行情况的各个方面，有：反映经济运行整体情况的经济景气指数，国民经济核算情况，反映工业、建筑业生产情况的指标，反映固定资产投资情况、房地产开发投资情况、国内外贸易情况的指标，反映物价情况、财政情况、就业与工资情况的指标。下面对本文所涉及的重要的宏观经济指标做简要介绍。经济景气指数包含有宏观经济景气指数、行业企业景气指数、消费者景气指数、经济学家信心指数、采购经理人指数和国房景气指数。本文涉及到的有宏观经济景气指数和采购经理人指数
...........
2.2股市预测
自股票市场诞生以来，股票价格预测就成为了股票市场永恒的话题。纵观国内外的研究状况，目前股票价格预测的方法主要集中在三个方面：第一，以基本分析技术分析为主的传统预测方法；第二，以时间序列为主的计量经济学方法；第三，以神经网络、支持向量机为主的人工智能方法。
2.2.1传统预测方法
股票价格预测的传统方法是最为常用的方法，包含基本分析法和技术分析法。基本分析主要的理论基础就是：（1)股票的长期价格是由公司内在价值所决定，而通过对公司经营现状和未来发展前景的分析可以得到对这种内在价值的估计。（2)股票价格不会脱离股票的价值大幅波动，当价格偏离价值时，价格一定会被市场修正向价值回归。所以可以通过对公司价值的研究来预测股票价格。通常情况下基本分析要通过以下几个方面来分析：（1)宏观经济分析。宏观经济分析又分为两方面内容，一、通过宏观经济指标对宏观经济运行情况做出判断；二、研究宏观经济政策包括财政政策和货币政策对宏观经济运行的影响。（2)行业和区域分析。不同行业的股票价格走势表现不同，所以可以通过对行业所属的市场类型、行业的生命周期和行业的整体业绩的考察来判断其对股票价格的影响。同时公司经营状况又必然要受到区域经济的影响，尤其像我国这样区域经济发展明显不平衡的国家在公司价值分析时就更不能不考虑区域因素。（3)公司分析。在基本分析中公司分析是重中之重，而宏观经济分析和行业区域分析最终都要落脚到公司分析上。公司分析要从公司长期发展和短期发展，公司行业地位和盈利水平，公司管理层状况和财务状况等各个角度对公司价值做出评估。
...........
3.神经网络理论.......................10
3.1研究概述..................10
3.2神经网络理论介绍...............12
3.3 BP神经网络..............17
3.4BP神经网络的改进方法..............22
3.5本文提出的改进BP神经网络的方法.........27
4.支持向量机理论..................28
4.1研究概述..............28
4.2支持向量机核心知识............29
5.机器学习方法在上证指数预測中的实证研究
由于机器学习方法具有众多优越性，所以其在股票预测的应用中得到了广泛的研究。以往使用机器学习方法对股票市场的预测大部分集中在对股市的短期预测上，很少有对股票的中长期预测做出研究，在预测指标选取上学者大部分选取的是一些常用的技术指标，很少有用宏观经济指标来进行预测。同时结合宏观经济指标和机器学习方法对股票市场的进行中长期预测的研究的学者就更少了。本章主要基于反映我国经济运行情况的重要宏观经济指标，使用前文提到的机器学习方法对上证指数的月收盘数据的预测做实证研究，使用的机器学习方法包括BP神经网络方法和支持向量机方法。
5.1实证环境简介
在使用机器学习算法的时候，不可避免的会涉及到大量的数值计算问题，所以必须借助于计算机程序实现，本文主要使用MATLAB作为实证研究的工具。MATALAB于20世纪70年代发明。它是一款特别优秀的计算软件，特别擅长于数值计算和大数据量处理，并且效率很高，因此它广阔的应用在各个学科包括：应用代数、自动控制、数字通信、电子信号和金融工程等。MATLAB软件提供了丰富的工具箱供研究者使用，本章使用的BP神经网络就是基于神经网络工具箱来实现的。该工具箱包含了目前比较成熟的大部分神经网络模型，我们可以使用其中丰富的函数来实现自己需要的神经网络模型。支持向量机的实证是基于MATLAB版本的LIBSVM工具箱向来实现的。UBSVM是由台湾大学的林智仁教授等人开发的一个支持向量工具包，可以用它来实现使用SVM方法的模式识别与回归问题。该软件包运行简舉、
........
6.总结与展望
6.1总结
自从股权分置改革以后，我国股票市场逐渐向着法律体系健全化、市场结构立体化的方向发展，股票市场的走势受宏观经济的影响越来越大，股票市场“晴雨表”的作用也越来越明显。同时随着人工智能方法在各个领域的广泛使用，其在金融领域，特别是股票市场价格预测中优势也凸显出来。在这样的背景之下，本文通过使用人工智能的方法结合宏观经济指标来对上证指数的月度收盘价走势做出预测，探讨宏观经济指标在上证指数预测中的作用。在人工智能方法中，主要研究了 BP神经网络和支持向量机两种方法。对于BP神经网络，本文针对传统BP神经的缺陷提出使用贝叶斯正则算法与提前停止算法相结合的方法来改进BP神经网络的性能。在实证过程当中本文使用改进的BP神经网络与支持向量机建立模型对上证指数做出预测，并得到了比较理想的效果。之后比较了两个模型预测效果，并对两个模型做出评价。
6.2展望
人工智能方法是比一门较新的学科，特别是支持向量机理论从提出到现在也就刚刚二十多年，所以人工智能方法在证券市场中的应用学者们都还在积极探讨中。本文虽然在人工智能方法预测股市方面做了一定的研究，但是这种研究还是比较初级的，技术上的细节还需要进一步的研究深化，进一步提高人工智能方法在股市预测上的稳定性和准确性。因此，在本文研究的基础之上，今后可在如下几个方面对人工智能方法在股市中的预测做出改进：第一，本文在股市预测方面主要是探讨了利用宏观变量来对股市运动趋势做出预测，而影响股票价格走势的因素又比较多，在实践当中技术指标被证明在股价预测上有重要的指导作用，所以以后使用神经网络或者支持向量机时可以适当的增加一些变量，特别是一些被实践证明是有效的技术指标来对股市做出预测，以提高预测的精度。第二，BP神经网络是一种性能良好的神经网络模型，但是其在应用中具有不稳定的特性，特别是对权值的初始化过程。在权值初始化过程中虽然使用[-1,1]的随机赋值可以避免网络在训练过程中陷入误差曲面平坦区域致使网络训练纯化现象的出现，但这样的随机赋值还是给训练网络造成一定的不稳定性。所以在以后的研究中可以针对权值初始化做专门的研究。第三，在支持向量机中核函数的选择及参数的确定对模型的建立非常重要，本文在核函数的选择上选择了比较常用的核函数，以后的研究中可以通过对股票市场价格走势的详细分析来构造适合问题自己的核函数，以此来提高模型的性能。
参考文献：
- [1] 周易. 基于支持向量机的上证指数开盘指数预测[J]. 软件. 2011(05)
- [2] 崔杰,覃富勇,廖佚. 我国股票市场与宏观经济关系的实证分析[J]. 统计与决策. 2011(08)
- [3] 王磊,王强. 基于人工神经网络的股票高低点周期预测模型[J]. 计算技术与自动化. 2009(04)
- [4] 艾永冠,朱卫东,闫冬. 基于PSO-BP神经网络的股市预测模型[J]. 计算机应用. 2008(S2)
- [5] 岳意定,刘佳. 我国股票市场对经济增长影响的实证研究[J]. 金融经济. 2008(22)
- [6] 叶德谦,马志强,李帼,姜皇普. 基于模糊神经网络的粗糙集在股市预测中的应用[J]. 计算机科学. 2008(04)
- [7] 尚鹏岳,李胜宏. 上证指数与宏观经济指标协整关系的实证分析[J]. 预测. 2002(04)
- [8] 孙延风,梁艳春,孟庆福. 改进的神经网络最近邻聚类学习算法及其应用[J]. 吉林大学学报(信息科学版). 2002(01)
本文编号：9524
本文链接：https://www.wllwen.com/shoufeilunwen/shuoshibiyelunwen/9524.html
