1、马尔可夫可修系统可修系统的所涉及的有关方面(因素):1. 可修系统的可靠性指标:(1). 系统首次故障前时间分布;(2). 系统可用度 (瞬时, 稳态, 平均, 区间等);(3). 在 中的平均故障次数;,0(t(4). 系统的平均开工时间与平均停工时间;(5). 等等2. 系统的构成:(1). 系统的可靠性结构 (串联系统, 并联系统, k-out-of-n 系统, 等等);(2). 修理设备或修理工的数量;(3). 组成系统的单元的寿命分布;(4). 修理时间的分布 ;3. 维修策略:(1). 系统的维修方式与相关假设;(2). 维修的策略 ;(3). 备件问题 .4. 系统的维修性模型:
2、(1) 概率模型;(2) 统计模型.5. 等等.马尔可夫可修系统:用马尔可夫过程描述,讨论和分析的可修系统.一、马尔可夫过程的定义与相关性质:定义: 设 是取值在 或 上的一个随机过程. 0),(tX,210E,10NE若对任意自然数 , 及任意 个时刻点 , 均有n ntt,)(|)()(,)(,| 1121 nnnn itXiPiXitititP其中, .E,21则称 为离散状态空间 上的连续时间马尔可夫过程. 0)(t如果, 对任意的时刻 ,均有ut EjitPiuXjPij,)()(|)(与 无关, 则称马尔可夫过程 是齐次的(homogeneous).u0,t- 转移概率函数;)(t
3、Pij矩阵 - 转移概率矩阵 (Probability transition matrix),|)(Eijt其中, 为集合 中的元素的个数 (cardinality).|E马尔可夫过程的解释:一个过程将来的情况, 只与现在有关, 而与过去的情况无关.例子 1.资金管理(Cash management).Bank: The Level of cash in a bank at the beginning of day is , the number of nXidling kilodollars in the safe. The cash level fluctuates as a random
4、 walk due to policy. Then is a homogenous Markov Chain.),(Ss ,10,nXSs自然时间(天)例子 2.排对论(Queuing Theory):一个服务系统, Buffer(waiting room) Processor (service place)DepartureThe number of customers in the waiting room at time t is , which is a homogeneous )(XMarkov process, if the arriving is a Poisson proces
5、s and service rate is a constant.马尔可夫过程性质:假定: .,0,1)(lim0 jiftPijjtArriving转移概率函数的性质: Ekijkjijijij vuPutP).()(,10)(若令 , 则有,)()(jtXPtj .Ekkjj tt)(0)(另外, 齐次马尔可夫过程有如下性质,(1). 对有限状态空间 的齐次马尔可夫过程, 以下极限E.,)(1lim,0EiqtPjtiit ijijt存在且有限.(2). 若记 为过程 的状态转移时刻 , 表,21T),(X210T)(nX示第 次状态转移后过程访问的状态. 若 , 则 为过程在状态 的逗n
6、 iTn)(ni留时间. 我们有定理: 对任 有,0,uEji, .)exp()(,)(|11 uqjiTTP innn ,10与 和状态 无关. n定理的解释: 有限状态空间的齐次马尔可夫过程在任何状态 的逗留时间服从参数的指数分布 , 不依赖于下一个要转入的状态 . 若 , 状态 为稳定状iq)0(iq ii态; 若 , 状态 为吸收状态.i(3). 令 中 发生状态转移次数 , 则有,)tN0,(tX定理: 对充分小的 , 有.)(2)(totNP(Note that the symbol represents a function defined in a neighborhood o
7、f 0 for which )(ho.0)(lim0h定理的解释: 在 中的齐次马尔可夫过程发生两次或两次以上转移的概率为,(t, 即此概率为无穷小当时间长度非常小时.)(to证明: 见曹晋华书 p191-192.*二、马尔可夫可修系统的一般模型:假设: 1. 可修系统有 个状态, 令 , 1N ,21,10NKFW 即状态空间为 ;,NFE2. 为时刻 该系统处的状态;)(tXt3. 是一个齐次马尔可夫过程.0,问题: 求系统的各种可靠性指标.系统是处于 “ 工作” (up state)与 “不工作” (down state)的交替状态, 见下图.工作 不工作 工 作 不工作(一) 系统的瞬
8、时可用度(Instantaneous Availability)定义: )(作 作作 作 作 作 作 tPtA(二) 系统的稳态可用度定义: , 即当时间趋于无穷大时的瞬时可用度 .limtt(平均可用度 , 如果 A 存在. Limiting average availability)dut 0)(1(三) 系统的可靠度)tR(四) 系统的首次故障前平均时间(Mean time to first failure)0)(dtRMTF(五) 系统的故障频度 (Frequency of failures)令 为(0,t 时间内系统的故障次数 , 且令(平均故障次数在 (0,t时间内)(tN,EiX
9、tNEti )0|)(系统的故障频度(从状态 出发)为: i ()(tMdtmii系统的故障频度在时刻 为 , 为初始概率.tEiiP(0i系统稳态故障频度 : )(ltt(六) 系统的平均开工时间, 平均停工时间和平均周期系统处于稳态的条件下,平均开工时间= ; (Mean up-time)MAUT平均停工时间 ; (Mean down-time)D平均周期 ; (Mean cycle time)MCT1(七) 等等下面, 我们用例子来说明马尔可夫可修系统的分析步骤与方法例子: 可修串联系统假设: 1. 系统由 2 单元串联组成;2. 第 个单元的寿命为 , 它的分布函数为 ;iiX)exp
10、(1ti3. 第 个单元的故障后,修理时间为 , 它的分布函数为 ;iY)e(ti4. 第 个单元故障后, 立即进行修理, 其它单元不工作;i5. 修复后的单元向新的一样, 既 “修旧如新”;6. 各单元的工作是相互独立, 寿命与修理时间独立;7. 初始时刻系统为新.(1). 定义系统的状态 :状态 0: 2 个单元都工作;状态 1: 第 1 个单元故障, 第 2 个单元工作 ;状态 2: 第 2 个单元故障, 第 1 个单元工作 ;则, ,0,0FWE(2). 定义随机过程 ),(tX令 表示时刻 系统所处的状态,即)(t .1,2,2 ,211,godiscompnetfaildscomp
11、netif grttwift则下图为系统所处的状态的一个实现.12t)(tX可以证明, 是状态空间为 的齐次马尔可夫过程.0),(tXE(思考: Why?)系统的转移率状态图为01 21212则, 得在 时间内, 不同的状态之间的转移概率为t2,1)()(,21120 itotPtttii由于上面的定理知, 在 内发生两次或两次以上状态的变化的概率为 , 因此,我)(to们得出 .2,1)(1)(20 jtotjj令 . 由全概率公式得2,)()(tXPtj,)()()()( 21210 2000 totPttPt 既得,ttttt )( 212100令 , 得t, 同理得,dtP)(0 21
12、210 )()()(tPtt2022)()()(tPtdtP上面的三个公式用矩阵的形式为, , Adt21111其中: , 表示对每个分量分别求导. 矩阵 , 称)(,)(210tPttPdt 3)(ijaA为转移率矩阵(infinitesimal generator)且,(注意 : ,.,jifqaijij )Eijia对于本例,.22110)(A微分方程的解释:例如, , 在时刻 t, 系统处在状态 2, 则此时的概率变化2022)()()(tPtdtP率为所有转移进来的率, 即 .20)(3) 求系统的瞬时可用度 )(tA通过求解方程-（￥）)0(,)(0: 21Pconditsital
13、PP得, , 但是, 一般讲, 由此式来求 是不方便的(有0!)(exp)0(ntt AP t一些近似计算公式)。另外一种方式是用 Laplace Transformation (拉普拉斯变换)。记 的 变换为)(tiL2,10,)()(0* isdtPesjstj将方程（￥）的两端作 变换， 得，)()()(|)()( *00 stsetdtetsst P另一方面，方程（￥）的右端的 变换为，L， 因此有，AP)()(*0sdtest，其中 为单位矩阵（1*)(0)(AIPsI）10I因为， ，对其作 变换得，)(0tPtAL，)()()(*00* sPdtAesst再利用 ，对 作反 变换
14、，求出 。1*)(IsL)(tA假定， , 即在时刻 时，系统是新的。01t，得到 *)(0)()( 211122111 iissss AI )()()() 21212121211*0 ssssPii将其化为部分分式 21221212112121*0 )()()()()() ssssss 其中， 是下列方程的解，,的两个根(*)， 即0)( 212121212 s 04(, 212 s对 做反 变换, 得系统可用度)(*0PLtA )exp()()()exp)()( 2122121211211 tssstss (3) 求系统的稳态可用度 )(limtAt在存在的前提下, 有下面两种方法进行求解
15、:(A). 系统的稳态可用度为)(li)(li*0stst(因为, , 由托贝尔(Tauber) 定理得 ,)(1lim0Aduttt)(lim)(1li*0sduts(B). 引理 B1: 对所有 , 若 , 则 存在.Eji, ijijtP)(lm0 jijtP)(l引理 B2: 对任意 , 有 .t用这两个引理, 我们有如下的方法:系统的稳态可用度为, 其中 满足线性方程WjjjjttPA)(li j,1)0,(10N 方法 B 的理解: 由于, 另一方面,由于系统处于稳定状态, 故其变化率为 0, 即 , P)(tdt AP)(0可求出 .),(),)(1010 NNP 对于本例子,
16、有101),(),( 31022 213102 A得 2,1,)(020iiiii(4) 求系统的故障频度令 表示 时间内系统的故障次数, 且令)(tN0t EiXtNEtMi ,)0(|)(表示时刻 系统从状态 出发的条件下, 在 时间内系统的平均故障Mi i ,0次数.定理: 满足下列的微分方程组Eiti),(FitMat WaEjjii Fjijjjii ,)()(,初始条件 Ei0证明: 考虑 内系统的平均故障次数。将此时间区间分解为 和,0(t ,0(t两段， 利用全概率公式,(t nini ii AfBPAXEB11,)|()|()|(和马尔可夫的性质，得 FitoMttMWito
17、tEjjiji FjjijWjjiji ),()()( ,)()(将和 ( 代入上式，得.,)(1lim,0iqtPjtiit ijijt .,jifqaijij )Eijia， FitotMattMWtaEjjijii Fjijjjijii ),()( ,)(令 ，得出结论。（因为，上式的右端的极限存在。） 证毕。0tQuestion: How do you explain the theorem in physical meaning? How can I understand it?用矩阵的方式，将上面的定理写为：，其中， , ,0)(MCeAmFtt dtMtmii)()(TNtmtt
18、 )(,)(,(10, , .| | FWFEDBT)1,(e TtMtt )(,)(,(10Question: How do you understand the index ? )ti被称为当时刻 系统从状态 出发， 系统在时刻 t 的瞬时故障频度。)(tmi 0ti采用 变换，得 。经过反 变换可给出 。LCeAIFs1*)() L)(,tm（注意：一般在马尔可夫可修系统中，求瞬时指标，都需要解微分方程。）下面将给出一个求系统瞬时故障频度的更方便的方法。定理：当在时刻 时，系统的初始分布为0t，则时刻 t 时系统瞬时故障频度为)0(,)(,()NPP。Wk FWFjkjtatPtmCe)
19、()()(证明： 曹晋华书 p201-202.此定理的理解: 系统在 t 时刻时到达工作状态后，在 时间内转移到故障状态的t概率。系统的稳态故障频度为：。Wk FWWkFjkjFjjtt aatPmMCe)(li)(li（注意：一般在马尔可夫可修系统中，求瞬时指标，都需要 ；而求稳态指)(tPj标，需要 ）。j(5) 求系统的平均开工时间，平均停工时间和平均周期在系统处于稳态的条件下，平均开工时间，平均停工时间和平均周期分别为， timecylMeanCTdowADtieupeanU,1,证明： 曹晋华书 p203-204证明的思想为：1 系统在到达稳态后，系统的一个开工时间区间的开始时刻必是
20、从某个故障状态 到正常状态 的转移时刻。因此，首先求出系统处于正常状态ij开始一个开工时间区间的概率。j。WjaPWkFiikiijj ,02 以上面的概率为初始时刻概率，在求其的 MTTFF。(6) 求系统的可靠度因为一个马尔可夫过程 可由其初始分布与矩阵 所决定。0),(tXA为求系统的可靠度 或首次故障前时间分布 ，我们令系统tR)(1)(tRtF所有故障状态为马尔可夫过程吸收状态，即令，即令 。,EjFiaij0,D因此，就构成了一个新马尔可夫过程 。若令)(t，同样，我们可导出 满足微分方程组jtXPtQj,)()( ),(EjtQj，0CBQQ)(,(),( ttFWFW系统的可靠
21、度为： ,即有jjtR)。sseI1*)(0(7) 求系统的首次故障前平均时间 )0()(*0RdtMTF由于， ，故有，WWssReBIQ1*)(0)(。WeBQ1*)()(总结: 分析马尔可夫型可修系统的步骤1基本条件： 组成该系统的各部件的寿命和故障后的修理时间分布,以及其它出现的有关分布均为指数分布,且所有这些分布的随机变量都相互独立。 2步骤：（1）定义系统的状态。要保证所定义的状态足以区分系统的各种不同状态。令 分别表示系,1,10,0 NKFWFNE 统的正常状态集和故障状态集。（2）定义随机过程 。令 ，若时刻 t 系统处于状态 j，),(tXjtX)(在满足基本条件下，可以证
22、明 是一个状态空间 E 上的齐次马尔可,夫过程。（3）求转移率矩阵 A，对已定义的过程，求出，jiitotPijij ,),()(进一步写出转移率矩阵，|Eija其中， .ijia(4). 按照前面所将的，求 （解微分方程，用 变换，将)()(jtXPtj L微分方程组化为线性方程组，解出线性方程组后，再作反 变换。） )0(,)(,0:,)(,(110 NNconditsital tPtP A然后，给出系统的有关瞬时维修性指标。（5）求 ，解线性方程组Ej,，1),(),(10N A然后，给出系统的有关稳态维修性指标。生灭过程（Birth-death process）：齐次马尔可夫过程 ，满足下列条0),(tX件， jitotPNittjiii),( 1,20,1, 系统转移率状态图为：. NNN 00111100 A例子二、曹晋华 p238.0 1 2 N12011
