带马尔科夫链的随机最优控制问题及其在金融中的应用

发布时间：2018-01-08 03:21

本文关键词：带马尔科夫链的随机最优控制问题及其在金融中的应用　出处：《山东大学》2017年博士论文　论文类型：学位论文

【摘要】：本篇论文主要研究了带马尔科夫链的随机最优控制问题,及其在金融中的应用。在理论方面,主要研究了与带马尔科夫链模型相关的最优控制理论,如随机最大值原理,动态规划原理以及它们之间的关系。然后,我们将得到的理论结果应用于金融数学问题,如股票交易问题,证券投资组合,效用最大化问题,最优投资-消费问题等。在实际中,很多现象或系统都具有状态转移或者趋势改变的性质。对于这种情形,数学上,我们一般使用马尔科夫链来刻画。例如,在股票市场中,市场可以分为牛市和熊市,市场在这两种趋势之间转换。在牛市中,股票的收益率是正的,波动率较小,而在熊市中,股票的收益率是负的,波动率也较大。此时,我们可以使用一个两状态的马尔科夫链来描述,一个状态代表牛市,一个状态代表熊市,使股票价格方程依赖于这个马尔科夫链。马尔科夫链状态的转移,代表着市场趋势的改变。从这个例子我们可以看出,马尔科夫链可以较好地模拟现实环境的随机变化,研究带马尔科夫链的随机最优控制问题是有实际意义的。相比于传统的扩散模型,带马尔科夫链模型主要具有以下两方面的优势。首先,在理论方面,模型所含有的马尔科夫链可以更加直接地描述影响系统的行为中那些不频繁变化但是对系统长期趋势有重要影响的因素和事件。例如上面的股票市场的例子,牛市与熊市的市场参数(收益率和波动率等)明显不同,传统的扩散模型就不能方便有效的反映这一现象,当引入马尔科夫链以后,就可以使得股票价格的走势和波动情况依赖于市场行情的变化。此外,在处理期权定价,证券投资组合等问题中,带马尔科夫链的模型也有广泛应用。然后,在数值计算方面,带马尔科夫链模型也具有优势。首先,当我们使用动态规划原理时,带马尔科夫链模型的随机最优控制问题具有简明的Hamilton-Jacobi-Bellman(HJB)方程,方便我们使用一些有效便捷的科学计算方法来处理。其次,在做计算处理时,带马尔科夫链模型只要求有限数据输入。仍以股票市场为例,我们只需要输入在不同状态下股票的收益率和波动率,以及马尔科夫链的转移速率矩阵。由此可见,带马尔科夫链的随机最优控制问题具有理论和计算两方面的优势。下面我们给出本文的主要内容和结构框架。在第一章中,我们研究了带马尔科夫链模型下的最优转换控制问题,及其在股票交易问题中的应用。我们首先得到了该问题的动态规划原理以及HJB方程,然后证明了问题的值函数是对应HJB方程的唯一粘性解。同时,最优转换策略也由HJB方程的障碍部分给出,决定了在何时和往何处转换是最优的。当马尔科夫链具有双时间尺度结构时,我们证明了相应的收敛性结果。最后,我们将在最优转换控制的框架下来研究股票交易问题,并利用数值计算给出了最优交易规则和最优收益。特别地,我们将利用双时间尺度马尔科夫链来模拟股票市场中的长期趋势和短期趋势,收敛性结果也被验证。在第二章中,我们研究了随机离开时间和不完备市场下的连续时间均值-方差证券投资组合选择问题。我们首先将均值-方差问题构造成为一个带终端期望限制的线性二次最优控制问题。然后,由随机线性二次控制理论,我们的均值-方差问题就会归结为两个倒向随机微分方程(BSDEs)的可解性问题。其中一个是随机Riccati方程,另一个是辅助BSDE。我们将使用BMO-鞅理论来给出一个对于上述两个BSDEs可解性的简洁有效的证明。随后,我们利用这两个倒向方程的解,给出了最优投资组合的线性反馈形式。在第三章中,我们研究了带马尔科夫链和泊松跳的正倒向随机系统的最优控制问题。首先利用对偶方法,建立了最优控制的充分性随机最大值原理。接下来,我们研究了它与动态规划原理的关系,建立了伴随过程、一般哈密顿函数以及值函数之间的关系。最后,我们将得到的理论结果应用于一个带终端财富限制的现金流估值问题,并利用马尔科夫链的性质和一些分析技术得到了显式的最优策略。在第四章中,我们研究了带马尔科夫链的超前-延迟正倒向随机系统的最优控制问题的必要性最大值原理。我们先由凸变分方法给出了系统的变分方程,以及一些相关估计,这就使得我们可以推导出变分不等式。然后,我们给出了相应的伴随方程。根据变分不等式的形式,以及伴随方程,我们就得到了必要性最大值原理。同时,我们还证明了,在某些凸性假设下,必要性最大值原理也会变成充分性条件。最后,我们研究了一类递归效用投资-消费选择问题,并给出了显式的最优消费率。接下来,我们给出本篇论文的主要结论。1.带马尔科夫链模型下的最优转换问题及其在股票交易问题中的应用记(Ω,F,P)是一个概率空间,上面定义了一个标准的1-维的布朗运动B(t),t≥0和一个马尔科夫链α(t),t≥0。假设B(·)和α(·)是独立的。马尔科夫链取值于一个有限的状态空间M={1,...,M}。记Q=(λpq)p,q∈M是α(·)的生成元。记{Ft}t0是由B(·)和α(·)生成的并完备化的信息族。考虑一个1-维的混合扩散(αp(·),Xp,x(·)),其初始状态是(p,x)∈M×R记N={1,...,N}是转换控制的状态集合。一个转换控制定义为一序列停时-状态对(τn,ξn)n≥1,其中τn是一列递增的停时,ξn是Fτn-可测的随机变量,取值于N,记转换控制过程为(?),其中1A是集合A的示性函数。总回报函数定义为其中ρ0是折现因子。我们记Ai是全体初始状态为i的容许转换控制的全体。我们定义值函数为我们也记v(i,p,x)为vi,p(x)。下面的定理给出了带马尔科夫链模型下的最优转换问题的动态规划原理。定理0.1.假设(H1.1)-(H1.3),则对任意的(i,p,x)∈N×M×R和停时θ,我们有问题对应的HJB方程(或称变分不等式系统)如下下面的两个定理给出了关于方程(0.0.2)的粘性解的存在唯一性结果。定理0.2.在假设(H1.1)-(H1.3)下,由(0.0.1)定义的值函数υi,p(x)是HJB方程(0.0.2)的粘性解。定理0.3.在假设(H1.1)-(H1.3)下,记ui,p(x)(相应地,vi,p(x))是(0.0.2)的一个粘性下解(相应地,上解)且满足线性增长条件,则我们有ui,p(x)≤vi,p(x)。然后,我们假设马尔科夫链αε(·)具有双时间尺度结构,其生成元Qε=(λpqε)结构ML,其中Mk={sk1,…,skmk},k=1,…,L,M=m1+…+mL。此外,Q结构为使Qk对于Mk也是一个生成元,对任意的k=1,...,L。对应的极限变分不等式系统是定理 0.4.对任意k=1,...,L和l=1,...,mk,我们有v(i,skl)ε(x)→v(i,k)(x)。此外,v(i,k)(x)是极限变分不等式系统(0.0.3)的唯一粘性解。然后我们将理论结果应用于股票交易问题。股票价格为其中,αp(·)是一个马尔科夫链,取值于M={1,2,...,M},x和p是股票价格和马尔科夫链的初始状态。在这里,b(p),p∈M,是期望回报率,σ(p),p ∈M代表股票的波动率。记{τn}n≥1是一列递增的停时序列,代表转换控制:在τN时刻进行买卖股票。我们取n={0,1}。在这里,状态0代表不持有股票,状态1代表持有1份股票。如果i=0(初始时刻不持有股票),那么交易员在τ1时刻买入股票,然后在τ2时刻卖出,再在τ3时刻买入股票,然后在τ4时刻卖出,依此类推。另一方面,如果i1(初始时刻有1份股票),那么交易员在τ1时刻先将股票卖出,然后在τ乃时刻买入,再在T3时刻卖出,依此类推。记股票的交易策略(从状态i ∈N开始)为Ii(t)=i1[0,T,)τ1)+∑n≥1 ξn1[τn,τn+1)(t)≥0,并记Ai为交易策略的全体。目标是选择一列{τn}n≥1,最大化收益其中K是交易费。此外,定义r(i,p,x)=supIi(·)∈AiJ(i,p,x,Ii(·))。我们考虑一个新问题,具有与(0.0.4)相同的动态,不过要最大化一个新目标并定义v(i,p,x)= supIi(·)∈Ai J(i,p,x,Ii(·))。注意到新问题(0.0.6)与原始问题(0.0.5)具有相同的最优交易策略。此外,经过一个变换,我们就会看到目标泛函(0.0.6)可以写成从而,对应于现在的情形,变分不等式(0.0.2)具有下面的形式基于此,我们就可以计算值函数和最优股票交易规则。2.随机离开时间和不完备市场下的均值-方差证券投资组合问题假设T0是一个有限时间区间的终点。(Ω,A,{Ft}t∈[0,,P)是一个完备的概率空间。记B(t)=(B(t)',W(t)')'=(B1(t),…,Bm(t),W1(t),…,Wd(t))',m≥1,d≥0是一个定义在这个概率空间上的(m+d)-维的标准布朗运动。我们进一步的假设信息族{Ft}t∈[0,T]满足FT(?)A,且是由B(t)生成的。考虑一个投资人在时间t投资自己总资产x(t)中的ui(t)于第i种证券,i = 0,1,...,m。那么,投资人的资产满足下面的SDE,其中x0是初始资产:假设投资人的离开时间τ是一个关于A可测的正的随机变量,其中A有可能比FT大。假设投资期限是T,在此之后投资人就不可以继续进行投资。因此,投资人的实际离开时间就是T∧τ。他的目标是,对于一个给定的z∈R,寻找一个终端收益满足E[x(T∧τ)=z的容许控制u(t),使得终端风险(用终端收益的方差来表示)Var[x(T∧τ)]=E[x(T∧τ)-E[x(T∧τ)]]2= E[x(T ∧τ)-z]2 最小化。利用分离方法和一些随机分析技术,我们将这个随机离开时间和不完备市场下的均值-方差问题构造成如下的一个带限制的随机线性二次控制问题。定义0.1.假设(H2.1),(H2.2),和(H2.3)成立,则随机离开时间和不完备市场下的均值-方差证券投资组合问题被构造成为一个以z∈R为参数的受约束的随机线性二次最优控制问题:注意到我们的均值-方差问题带有限制J1(u(·))=z,在解决了可行性问题以后,我们使用拉格朗日乘子法来处理这个限制。对于所有的λ ∈R,我们定义第一个目标是处理下面的这个以λ为参数的不带限制的问题:这是一个标准的随机线性二次最优控制问题,我们引入下面的两个BSDEs:和(0.0.9)就是所谓的随机Riccati方程(SRE),(0.0.10)是辅助BSDE。我们将使用BMO-鞅理论来证明上述两个方程的可解性,即以下两个定理。定理 0.5.假设(H2.1)-(H2.3)成立。则SRE(0.0.9)有解(p,Λ)∈LF∞(Ω;C(0,T;R))×LF2(0,T;Rm+d),且满足k≤p≤K,其中Kk0。此外,∫0tΛ(s)'dB(s)是一个BMO-鞅。定理 0.6.假设(H2.1)-(H2.3)。给定一个SRE(0.0.9)的解(p,A),则BSDE(0.0.10)存在唯一解(?)。而且,对于所有的t∈[0,T],我们有0h(t)≤1。此外,如果r(t)0,a.e.t∈[0.T],则对所有的t ∈[0,1),有0h(t)1。确定了上述两个BSDEs的可解性后,就可以解出不受限问题(0.0.8)。最后,根据不受限问题的解,就能给出原始问题(0.0.7)的解。可以看出,最优的投资组合是一个线性状态反馈的形式,终端最小风险Var[x(T ∧ τ)]关于终端财富z是一个二次函数。定理0.7.假设(H2.1)-(H2.3)和条件(2.3.2)成立。则我们有(?)此外,对应于z的一个最优投资组合(具有反馈控制的形式),由下式给出u*(t)=uλ*(t)(?)(?)其中(?)(?)最优的财富过程(?)由方程(2.5.1)的解给出,对应于uλ*(t)。此外,在满足限制E[x(T∧τ)]= z的所有的财富过程x(·)中,终端财富方差Var[x(T∧τ)]的最优值是(?)(?)3.带马尔科夫链和泊松跳的正倒向系统的最大值原理及其在金融中的应用记(Ω,F,{Ft}t∈[0,T],P)是一个完备的概率空间,上面定义了一个标准的1-维的布朗运动,一个连续时间马尔科夫链,和一个泊松随机测度。马尔科夫链α(t)的状态空间是S = {α1,α2,...,αD},其中D∈N,αi∈RD,且第j个分量是δij,对于每一个i,j=1,2,…,D。对应于控制u(t)∈U(?)R的状态过程(X(t),Y(t),Z(t),Z(t,e),Z(t))∈R4×RD由下面的FBSDE给出:其中,μ∈R是一个给定的常数,b,σ,σ,σ,f是给定的具有合适维数的函数。在这里,为了方便起见,我们记Θ(t)=(X(t),Y(t),Z(t))。考虑如下的评价指标:其中l,g,h是给定的具有合适维数的函数。我们的最优控制问题是:寻找一个容许控制u*(·)∈u使得J(u*(·))= infu(·)∈u J(u(·))。记θ代表(x,y,z),记R代表所有的函数r:ε→R。定义哈密顿函数H:[0,T]×R3×(?)(?)。我们假设哈密顿函数H关于θ是可微的。在引入伴随方程(3.2.3)后,我们就可以得到下面的充分性随机最大值原理。定理0.8.记u*∈u,对应的方程(0.0.11)的解是(X*,Y*,Z*,Z*,Z*),假设伴随方为了符号方便,我们记(?)。此外,我们假设下面的条件成立条件1.对于所有的(?)。条件2.对于每一个固定的(?)存在并且是一个关于θ的凸函数。条件3.函数g(x,αi)和h(y)是凸的,对于每一个αi,i=1,2,...,D。则u*是一个最优控制,(X*,Y*,Z*,Z*,Z*)是对应的最优状态过程。接下来,我们将建立最大值原理与动态规划原理之间的关系。我们首先将代价泛函(0.0.12)简化为J(u(·))=Y(0),并记J(t,x,αi;u(·))=Y(t),其中(t,x,αi)代表初始时间和初始状态,即X(t)=x,α(t)=αi。并且,定义我们得到值函数V(t,x,αi)满足下面的HJB方程:其中,对于每一个αi,关于v∈C1,2([0,T]×R)的一般哈密顿函数G定义为(3.4.2)。则我们有下面的定理。定理 0.9.假设V(t,x,αi)∈C1,2([0,T]×R),对于每一个αi∈S。记u*是最优控制,(X*,Y*,Z*,Z*,Z*)是相应的最优状态过程。则对于所有的s∈[t,T],我们有此外,如果V(t,x,αi)∈C1,3([0,T]×R),我们定义下列过程:最后,我们应用最大值原理解决一个带马尔科夫链和泊松跳的金融市场中的带终端财富限制的现金流估值问题。由拉格朗日乘子法,我们将问题构造如下。最小化:其中,c(t)是委托人的提取回报率,作为控制的一部分。代理人的财富过程X(t)由下面的SDE给出其中,u(t)是代理人的投资策略,作为控制的另一部分。委托人的效用Y(t)由下面的倒向随机微分方程给出利用马尔科夫链的性质和鞅表示定理,我们可以显式地解出上述问题的最优策略,即下面的定理。定理0.10.带终端财富限制的现金流估值问题(3.5.3)的最优控制策略由下面给出:其中θ*由(3.5.23)给出,p(t,α(t))和q(t,α(t))分别由(3.5.17)和(3.5.18)给出。4.带马尔科夫链的正倒向超前-延迟系统的随机最大值原理记(Ω,F,P)是一个概率空间。T0是一个有限时间区间的终点。{Bt}0≤t≤T是一个1-维布朗运动,{αt}0≤t≤T是一个有限状态马尔科夫链,状态空间记为I = {1,2,...,k}。假设B和α是相互独立的。马尔科夫链的转移速率记为λ(i,j)。假设λ(i,j)是非负的和一致有界的,并且λ(i,i)=-∑j≠iλ(i,j)。记{Ft}0≤t≤T是由{Bt,αt}0≤t≤T生成的自然信信息族,并包含F中所有的P-零测集。我们首先建立下面的带马尔科夫链的超前的BSDE的解的存在唯一性:定理0.11.在假设(H4.1)和(H4.2)下,BSDE(0.0.13)存在唯一解(Yt,Z,Vt)∈LF2(0,T+δ;R)× LF2(0,T+δ;R)× L2(P;R)。我们考虑下面的最优控制问题,控制系统由一个正倒向方程给出。其中Wtnt=(Wt(1)nt(1),...,Wt(k)nt(k)),x0(t),υ0(t)是确定性的函数。在上面,υt是一个Ft-适应的控制过程,取值于U,且U(?)R是一个非空的凸集。记u为容许控制的集合,其中容许控制是指取值于凸集U并且满足E[∫0T|υt|2dt]∞。定义代价泛函如下:其中l,h,r是可测函数。我们的最优控制问题的目标是,在容许控制集u中,最大化泛函指标(0.0.14)。能够最大化(0.0.14)的控制ut被称为是最优控制。由变分方程(4.3.1),以及定理4.2中的估计,我们可以建立下面的变分不等式。定理0.12.假设(H4.3)-(H4.5)成立,则我们有:引入伴随方程(4.3.5)后,定义哈密顿函数H:[0,T]× I × R ×R × R × L2(Fτ;R)×R × L2(Fr;R)× L2(P;R)×U×U×R×R×R→R如下其中r,r∈[t,T]。我们可以得到下面的随机最大值原理。定理0.13.假设(H4.3)-(H4.5),记ut是一个最优控制,(Xt,Yt,Z,Wt)是对应的状态过程。(qt,pt,kt,Λt)是伴随方程(4.3.5)的唯一解。则对任意的v∈U,我们有然后,我们假设一个额外的凸性条件,来获得一个关于最优控制的充分性条件。定理0.14.假设ut∈u。记(Xt,Yt,Zt,Wt)是对应的状态过程,(qt,pt,kt,Λt)是伴随方程(4.3.5)的解。如果假设(H4.3)-(H4.6)和方程(0.0.15)对于ut成立,则ut是一个最优控制。最后,我们研究一个递归效用下的投资-消费问题。应用随机最大值原理,我们得到了显式的最优消费率。考虑一个带马尔科夫链和延迟的随机动态:其中,消费过程ct是一个Ft-适应的非负的过程,满足E[∫0T|ct|2dt]∞。记u代表所有消费过程的集合。在我们的投资-消费问题中,假设投资人将会选取u中的一个消费过程去最大化他的效用。考虑下面的递归效用,由一个带马尔科夫链的BSDE来描述:其中U(:[0,T]× R+ × Ω →R是一个给定的满足一定条件的效用函数。我们想要找到一个消费率ct,使得利用随机最大值原理,通过最大化哈密顿函数,再结合一些BSDE的性质,我们可以得到候选的最优消费率ct可以由下式给出:容易验证假设(H4.3)-(H4.6)被满足,所以我们得到下面的结果。定理0.15.记(qt,pt,kt,Λt)是伴随方程(4.4.3)的解,假设(4.4.4)成立,则由定理0.14知,最优的消费率ct由(0.0.16)给出。
[Abstract]:......
【学位授予单位】：山东大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：F224;F830.59

【相似文献】