读书笔记 -- ＞强化学习 -- ＞ The Bellman Equation

本文将总结 强化学习中的一个重要基础知识，Bellman Equation。

符号定义

• $\pi$：函数符号，表示策略（Policy）函数，参数常为环境返回的状态，输出为一个具体的动作，可知$a=\pi (s)\in A$
• $r$：执行动作$a$ 后所获取的即时奖励，$r_t$ 表示t时刻所获取即时奖励。
• $G$：累积奖赏，$G_t$ 表示从t时刻到一轮episode结束累积奖赏。
• $E[.]$: 表示计算期望。

value based 方法

首先了解一下何为 强化学习中的value based 方法，我们知道Agent的目标是：在生命周期内，执行一个序列的action，且该序列（马尔科夫奖励链）$action$ 所获取的$reward$ 之和（可以是加上discount factor $\gamma$ 之后的求和）能达到最大。例如在时刻$t$ 时，Agent在马尔科夫奖励链上从$t$ 时刻以后未来所有有衰减的累积奖励（折现的奖励）总和。 如下：

$$G_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...=\sum _{j=0}^T{\gamma }^j{r}_{t+j+1}$$

上式中，如果$\gamma =0$，则表示Agent放弃长远的收益，而只在乎即时的$reward$，同理如果$\gamma =1$，则表示Agent将长远收益和当前即时收益放在同等重要位置。通常情况下$\gamma \in (0,1)$，也即是当$\gamma >0$ 时，是非贪心的。

可以重写上述公式如下：
$$G_t=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...+{\gamma }^{T-1}{r}_T$$
$$=r_{t+1}+\gamma (r_{t+2}+\gamma r_{t+3}+...+{\gamma }^{T-2}{r}_T)$$
$$=r_{t+1}+\gamma (G_{t+1})$$

这样就可以通过递归的形式计算G

大部分强化学习算法都涉及到估计 状态价值函数（Value Function），该函数的自变量为 状态 或 状态-动作对，这种称为基于值的学习，也即 value-based。

通常情况下，时刻t后执行序列可能有多条 马尔科夫奖励，我们需要使用状态价值函数来评估状态$s$ 的长期价值。

马尔科夫奖励（Markov Reward Process，MRP）过程定义式如下：
是一个由 $<S,P,R,\gamma >$ 组成的元组（tuple）：
$S$ 是有限的状态
$P$ 是状态转移概率矩阵 $P_{s{s}^{\prime }}=P(S_{t+1}=S^{\prime }|S_t=S)$
$R$ 是奖励函数 R s = E [ R t + 1 ∣ S t = s ] R_s = E[R_{t+1}|S_t=s] <