一 非常返状态的定义
设I={1、2、3、4}，转移概率如图1所示，可以计算出状态2和状态3有相同的周期d=2。但由状态3出发经两步必定返回到3，而状态2则不然，当状态2转移到状态3后，便不可以返回到状态2，因此为了区分着两种状态，引入了常返性概念。
记 （1）
显然由马氏链性质于齐次性上式右方与m无关。它表示质点由状态i出发，经n步首次到达状态j的概率，也称为首中概率（或首达概率）。记
（2）
它表示指点由状态i出发，经有限步终于到达状态j的概率。
图1 马尔可夫链
上图1中的状态3经有限步可以返回到状态3，因此该状态3称为常返状态；而状态2在有限步中，如果转移到了状态3，则便无法返回到自身的状态，因此状态2成为非常返状态。
定义：如果，则称状态i为常返的；如果
，则称状态i为非常返的。
因此，若状态 i 为非常返态，则由i出发将以正概率永远不再返回到 i ；若 i 为常返时，不会出现上述情况。对于常返态 i ，由定义知构成一概率分布，此分布的期望值为：
（3）
表示由状态i出发再返回到i的平均返回时间。
二 常返性的判别及其性质
该小节中讨论如何用（表示质点从状态i经过n步转移后到达状态j的概率）判别常返状态及其性质。这里先引入母函数。设
为实数列，考虑其母函数
（4）
显然，如有界，则A(s)对一切|s|<1收敛。进而，若与的母函数分别为A(s)和B(s)，且对一切|s|<1收敛，则
与
的卷积
（5）
的母函数为。
定理：状态i常返的充要条件为 （6）
如i 非常返，则 （7）
证明：规定。由定理4.4（下面给出该定理）知，
（8）
两边乘以，并对
求和，若记
与
的母函数分别为P(s)与F(s)，与（5）式比较得
（9）
注意到当时，，因此
（10）
显然对任意正整数N都有
（11）
且当时，P(s)不减，故在上式中如先令
，再令
，我们有
（12）
同理可得
（13）
令（10）式两边中的，由（11），（12）式立得定理。
定理：当i常返时，返回i的此次数是无限多次；当i为非常返时，返回i的次数只能又有限多次。
定理4.4 对任意状态i,j及有
参考文献：刘次华, 随机过程(第五版),华中科技大学出版社, 中国武汉, 2014