问题模型：根据历史值 x t − 1 , … , x 1 x_{t-1},\dots,x_1 xt−1,…,x1预测 x t x_t xt的值，即 x t ∼ P ( x t ∣ x t − 1 , … , x 1 ) x_t\sim P(x_t|x_{t-1},\dots,x_1) xt∼P(xt∣xt−1,…,x1)
为了实现这个预测，可以使用回归模型。但存在一个主要问题：输入数据( x t − 1 , … , x 1 x_{t-1},\dots,x_1 xt−1,…,x1)的数量与 t t t有关，即输入数据的数量随着数据量的增加而增加。有以下2种策略可以进行近似处理：
自回归模型：假设在现实情况下相当长的序列 x t − 1 , … , x 1 x_{t-1},\dots,x_1 xt−1,…,x1是不必要的，我们只需要满足某个长度为 τ \tau τ的时间跨度， 即使用观测序列 x t − 1 , … , x t − τ x_{t-1},\dots,x_{t-\tau} xt−1,…,xt−τ。这样获得的最直接的好处就是参数的数量总是不变的。
隐变量自回归模型：保留一些对过去观测的总结 h t − 1 h_{t-1} ht−1，并且同时更新预测 x ^ t \hat{x}_t x^t和总结 h t h_{t} ht，即 x ^ t = P ( x t ∣ h t ) , h t = g ( h t − 1 , x t − 1 ) \hat{x}_t=P(x_t|h_t),~~~h_t=g(h_{t-1},x_{t-1}) x^t=P(xt∣ht),ht=g(ht−1,xt−1)
如何生成训练数据？ 经典方法是使用历史观测来预测下一个未来观测。这种方法基于以下假设：虽然特定值 x t x_t xt可能会改变， 但是序列产生逻辑不变。即 P ( x 1 , … , x T ) = ∏ t = 1 T P ( x t ∣ x t − 1 , … , x 1 ) P(x_1,\dots,x_T)=\prod_{t=1}^T P(x_t|x_{t-1},\dots,x_1) P(x1,…,xT)=t=1∏TP(xt∣xt−1,…,x1) 这种假设是合理的，因为新的序列产生逻辑一定受新的数据影响， 而我们不可能用目前所掌握的数据来预测新的序列产生逻辑。
如果使用 x t − 1 , … , x t − τ x_{t-1},\dots,x_{t-\tau} xt−1,…,xt−τ来估计 x t x_t xt是近似精确的，则称序列满足马尔可夫条件。特别地，如果 τ = 1 \tau=1 τ=1，得到一个 一阶马尔可夫模型 P ( x 1 , … , x T ) = ∏ t = 1 T P ( x t ∣ x t − 1 ) , P ( x 1 ∣ x 0 ) = P ( x 1 ) P(x_1,\dots,x_T)=\prod_{t=1}^T P(x_t|x_{t-1}),P(x_1|x_0)=P(x_1) P(x1,…,xT)=t=1∏TP(xt∣xt−1),P(x1∣x0)=P(x1)
当假设 x t x_t xt仅是离散值时，可以使用动态规划沿着马尔可夫链精确地计算结果，简而言之，可以利用临近值的概率求解跨距离值的概率，由此我们只需要考虑历史临近值。比如 P ( x t + 1 ∣ x t − 1 ) = ∑ x t P ( x t + 1 , x t , x t − 1 ) P ( x t − 1 ) = ∑ x t P ( x t + 1 ∣ x t , x t − 1 ) P ( x t , x t − 1 ) P ( x t − 1 ) = ∑ x t P ( x t + 1 ∣ x t ) P ( x t , x t − 1 ) P ( x t − 1 ) ( 马尔可夫条件 ) = ∑ x t P ( x t + 1 ∣ x t ) P ( x t ∣ x t − 1 ) \begin{aligned} P(x_{t+1}|x_{t-1})&=\frac{\sum_{x_t}P(x_{t+1},x_t,x_{t-1})}{P(x_{t-1})}\\ &=\frac{\sum_{x_t}P(x_{t+1}|x_t,x_{t-1})P(x_t,x_{t-1})}{P(x_{t-1})}\\ &=\frac{\sum_{x_t}P(x_{t+1}|x_t)P(x_t,x_{t-1})}{P(x_{t-1})}(马尔可夫条件)\\ &=\sum_{x_t}P(x_{t+1}|x_t)P(x_t|x_{t-1}) \end{aligned} P(xt+1∣xt−1)=P(xt−1)∑xtP(xt+1,xt,xt−1)=P(xt−1)∑xtP(xt+1∣xt,xt−1)P(xt,xt−1)=P(xt−1)∑xtP(xt+1∣xt)P(xt,xt−1)(马尔可夫条件)=xt∑P(xt+1∣xt)P(xt∣xt−1)
