随机过程：一族随机变量，随机变量在不同的时间满足某种分布，称为随机过程。
有一种假设是，在不同的时间点，概率分布都是一样的，这种叫做平稳的随机过程。
由于随机过程这个概念太过于广泛，通常我们会对这个过程做一些限制进行研究。马尔可夫性质：随机过程有一种性质叫做马尔可夫性质。对随机过程还有一种限制，我们称作马尔可夫性质。
马尔科夫性质是指将来发生的事情只和现在有关，和过去无关，具有马尔可夫性质的随机过程叫做马尔可夫过程。
随机过程可依时间(参数)分为连续参数随机过程和离散参数随机过程或随机序列。
状态和时间都是离散的马尔可夫过程，我们称为马尔可夫链。
状态转移图，转移概率，转移概率矩阵(同一行加起来是1，同一列不一样)，齐次马氏链，一步转移概率矩阵，N 步转移概率矩阵。
C-K方程
矩阵的N次方求解：分解成为标准型
遍历性：是否收敛，如果马尔可夫链能够收敛，则称为具有遍历性；
定理：遍历性收敛的条件，转移矩阵的特征向量；
应用：
排队论等统计模型建模
语音识别
基因预测
搜索引擎鉴别网页质量——PR值
四网页模型，可以写成概率转移矩阵，我们想要找到它的遍历性。
EM算法和最大熵模型