马尔可夫链最优停止的值函数

本文讨论了时间无限的马尔可夫链的最优停止问题。对于无限状态情况,给出了其最优停止变量以及值函数存在的一个充分条件;对于有限状态情况,这个充分条件以及问题的计算等价于解一个线性规划问题。     

有限马氏链最优停止的线性规划解

离散时间的有限状态马尔可夫链最优停止的值函数存在的一个充分条件是所对应的线性规划有解,且其最优解等于值函数,本文证明这个条件还是必要的。