浙江职业能力建设网_企业质量文化建设_网站百度收录要多久_网络营销做得好的产品

思维导图

探索和利用

Exploitation:使用模型直接处理
Exploration:尝试新的方法来更新当前的模型
$ϵ$-贪心表示以$ϵ$概率执行探索，以$1-ϵ$概率执行利用

关键概念

值函数：表示为在初始状态为s的情况下采取策略$\pi$累积到h步的奖励期望值
$$V^{\pi }(s)=E_{\pi }\left[\sum _{i=0}^h{r}_i|s_0=s\right]$$
在考虑折扣因子$\gamma$，状态步数为无穷远时值函数表示为
$$V^{\pi }(s)=E_{\pi }\left[\sum _{i=0}^{\infty }{\gamma }^i{r}_i|s_0=s\right]$$
bellman方程
$$\begin{array}{rl}{V}^{\pi }(s)& =E_{\pi }\left[\sum _{i=0}^h{\gamma }^i{r}_i|s_0=s\right]\\ & =E_{\pi }\left[r_0+\sum _{i=1}^h{\gamma }^i{r}_i|s_0=s\right]\\ & =\pi (s)\sum _{s^{\prime }\in S}p(s,s^{\prime })E_{\pi }\left[r_0+\gamma \sum _{i=0}^h{\gamma }^i{r}_i|s_0=s^{\prime }\right]\\ & =\pi (s)\sum _{s^{\prime }\in S}p(s,s^{\prime })\left[r_0+\gamma V^{\pi }(s^{\prime })\right]\end{array}$$
即$$V^{\pi }(s)=\pi (s)\sum _{s^{\prime }\in S}p(s,s^{\prime })\left[r_0+\gamma V^{\pi }(s^{\prime })\right]$$
当在某种策略中时，可表示为
$$V(s)=r+\gamma \sum _{s^{\prime }\in S}p(s,s^{\prime })V(s^{\prime })$$

动作值函数：表示在状态s，采取动作a时得到的值函数
$$\begin{array}{rl}Q(s,a)& =\sum _{s^{\prime }\in S}p(s,s^{\prime })\left[r+\gamma V^{\pi }(s^{\prime })\right]\\ & =r_s^a+\gamma \sum _{s^{\prime }\in S}p(s,s^{\prime })\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })Q(s^{\prime },a^{\prime })\end{array}$$

TD(时序差分)

是temporal difference缩写
Q-learning关系式为
$$Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\alpha \left[R_{t+1}+\gamma \underset{a}{\max }Q(S_{t+1},a)-Q(S_t,A_t)\right]$$

模仿学习

也称为观察学习，是通过专家策略轨迹对模型快速初始化，为了后面通过一般的强化学习求解问题