面向证券市场行情预测的文本表示学习关键技术研究
发布时间：2021-11-18 06:25
经过多年的发展,证券行业积累大量的结构化和非结构化数据。证券行业大数据在给市场参与者提供更加丰富和全面的信息的同时,也带来大数据分析和处理的新挑战。传统的依靠人对海量数据阅读分析并做出投资决策的模式在大数据时代已经变得不再现实。将机器智能分析逐渐代替人工分析已经成为行业未来发展的一大趋势。文本的表示是智能分析的关键步骤,前人的研究通过设计特征模板,从原始数据中提取特征表示作为机器学习算法的输入。这类特征模板的设计需要人工参与,费时费力,且常常需要领域专家的知识。同时,对于较复杂的应用,特征的维度可能非常高（高达千万维）且稀疏,且这些特征往往只能运用于特定的领域,无法很好地在不同应用和语言中进行迁移。证券市场行情的变化高度复杂,需要对信息的深度理解。基于深度神经网络的文本表示学习相对于基于离散特征的模型能够更好地表示文本语义,且具有强大的非线性拟合能力,能够更好地刻画特征与学习目标之间的联系。如何将其运用于证券市场行情预测是一个非常值得深入研究和探索的课题。然而相关工作才刚刚起步,还存在预测模型建立在浅层的文本理解基础上、没有有效融合知识、模型的可解释性不足等问题。针对以上问题,我们提出...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：127 页
【学位级别】：博士
【部分图文】：
上下文相关的词向量模型ELMo，GPT和BERT
第1章绪论图1-2循环神经网络，递归神经网络以及卷积神经网络的结构Fig.1-2Thestructureofrecurrentneuralnetwork,recursiveneuralnetworkandconvolutionalneuralnetwork.子序列，送入网络的隐含层后计算的到当前输入的隐含状态。循环神经的网络的每一步可以形式化为ht=fθ(xt,ht1)，其中xt表示当前的输入，ht1表示上一个隐含层的状态，ht表示当前输入对应的隐含层，f为隐含层的计算函数，θ表示函数中的可训练参数。从循环神经网络的定义可以看出，当前的隐含状态ht不仅依赖于当前的输入xt，也依赖于上一步的隐含状态ht1。同时，网络的参数是全局共享的。理论上，网络最后输出的隐含状态包含了整个句子的信息，可以作为句子的向量表示运用在下游任务中。当然，对序列所有的隐层状态进行平均池化、最大池化也是常用的获得句子表示的方法。简单的循环神经网络在处理较长序列时，容易a)长短期记忆网络的结构a)Thestructureoflongshort-termmemorynetwork.b)门限循环单元的结构b)Thestructureofgatedrecurrentunit.图1-3LSTM和GRU示意图Fig.1-3ThestructureofLSTMandGRU.-7-
第1章绪论图1-4层次的文档表示网络的结构Fig.1-4Thearchitectureofhierarchicalneuralnetworkfordocumentrepresentation.之后再利用篇章向量和句子向量解码重建原来的篇章。通过这种训练方法，它们使得模型具有了编码篇章句法和语义信息的能力。Tang等[50]提出了基于GRU的篇章表示模型，如图1-4a)所示。模型中使用两层结构。底层的为LSTM或CNN，负责词组合成句子的语义表示。上层的双向GRU将句子语义通过平均池化组合成篇章语义。在Tang等[50]的基础上，Yang等[51]提出了层次注意力网络（HierarchicalAttentionNetwork），如图1-4b）所示。Tang等[50]认为每个词和每个句子的重要性是相同的，因此使用的是对隐含层向量进行平均池化的方法。而Yang等[51]的层次注意力网络则认为每个词，每个句子的重要性不一样，因此通过注意力机制[4]对词和句子赋予了不同的权重。上面提到的三种方法都是通过顺序的方式建模句子之间的关系，Ji等[52]提出基于篇章结构的篇章建模方法。其首先利用篇章结构解析器得到篇章中句子之间的关系，之后利用递归神经网络结合篇章关系对篇章进行建模。在多个篇章级文本分类的实验结果表明，结合篇章结构的方法取得了更好的效果。同时他们也发现篇章结构解析器的准确率对篇章分类的效果有较大的影响。1.2.2基于社会媒体的市场行情预测近年来，随着社会媒体的兴起，各个社会媒体平台上用户生成的内容呈爆炸式地增长。社会媒体涵盖的范围非常广泛，既包括发布个人信息的社交网络，也包括论坛以及博客等。人们在这些平台上分享自己的生活，发表评论、意见以及观点。由于社会媒体的这些特点，其常被作为现实世界在网络虚拟世界的一个映射。因此，许多已有工作通过分析社会媒体中用户生成的内容来预测现实世界中的一?
【参考文献】：
期刊论文
[1]知识图谱研究进展[J]. 漆桂林,高桓,吴天星. 情报工程. 2017(01)
[2]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
本文编号：3502385
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：127 页
【学位级别】：博士
【部分图文】：
上下文相关的词向量模型ELMo，GPT和BERT
第1章绪论图1-2循环神经网络，递归神经网络以及卷积神经网络的结构Fig.1-2Thestructureofrecurrentneuralnetwork,recursiveneuralnetworkandconvolutionalneuralnetwork.子序列，送入网络的隐含层后计算的到当前输入的隐含状态。循环神经的网络的每一步可以形式化为ht=fθ(xt,ht1)，其中xt表示当前的输入，ht1表示上一个隐含层的状态，ht表示当前输入对应的隐含层，f为隐含层的计算函数，θ表示函数中的可训练参数。从循环神经网络的定义可以看出，当前的隐含状态ht不仅依赖于当前的输入xt，也依赖于上一步的隐含状态ht1。同时，网络的参数是全局共享的。理论上，网络最后输出的隐含状态包含了整个句子的信息，可以作为句子的向量表示运用在下游任务中。当然，对序列所有的隐层状态进行平均池化、最大池化也是常用的获得句子表示的方法。简单的循环神经网络在处理较长序列时，容易a)长短期记忆网络的结构a)Thestructureoflongshort-termmemorynetwork.b)门限循环单元的结构b)Thestructureofgatedrecurrentunit.图1-3LSTM和GRU示意图Fig.1-3ThestructureofLSTMandGRU.-7-
第1章绪论图1-4层次的文档表示网络的结构Fig.1-4Thearchitectureofhierarchicalneuralnetworkfordocumentrepresentation.之后再利用篇章向量和句子向量解码重建原来的篇章。通过这种训练方法，它们使得模型具有了编码篇章句法和语义信息的能力。Tang等[50]提出了基于GRU的篇章表示模型，如图1-4a)所示。模型中使用两层结构。底层的为LSTM或CNN，负责词组合成句子的语义表示。上层的双向GRU将句子语义通过平均池化组合成篇章语义。在Tang等[50]的基础上，Yang等[51]提出了层次注意力网络（HierarchicalAttentionNetwork），如图1-4b）所示。Tang等[50]认为每个词和每个句子的重要性是相同的，因此使用的是对隐含层向量进行平均池化的方法。而Yang等[51]的层次注意力网络则认为每个词，每个句子的重要性不一样，因此通过注意力机制[4]对词和句子赋予了不同的权重。上面提到的三种方法都是通过顺序的方式建模句子之间的关系，Ji等[52]提出基于篇章结构的篇章建模方法。其首先利用篇章结构解析器得到篇章中句子之间的关系，之后利用递归神经网络结合篇章关系对篇章进行建模。在多个篇章级文本分类的实验结果表明，结合篇章结构的方法取得了更好的效果。同时他们也发现篇章结构解析器的准确率对篇章分类的效果有较大的影响。1.2.2基于社会媒体的市场行情预测近年来，随着社会媒体的兴起，各个社会媒体平台上用户生成的内容呈爆炸式地增长。社会媒体涵盖的范围非常广泛，既包括发布个人信息的社交网络，也包括论坛以及博客等。人们在这些平台上分享自己的生活，发表评论、意见以及观点。由于社会媒体的这些特点，其常被作为现实世界在网络虚拟世界的一个映射。因此，许多已有工作通过分析社会媒体中用户生成的内容来预测现实世界中的一?
【参考文献】：
期刊论文
[1]知识图谱研究进展[J]. 漆桂林,高桓,吴天星. 情报工程. 2017(01)
[2]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
本文编号：3502385
本文链接：https://www.wllwen.com/guanlilunwen/bankxd/3502385.html
