O2O:Offline–Online Actor–Critic

IEEE TAI 2024
paper
加权TD3_BC

Method

离线阶段，算法基于TD3_BC，同时加上基于Q函数的权重函数，一定程度上避免了过估计
$$\begin{array}{rl}{J}_{\mathrm{offline}}(\mathbf{\theta })& ={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[\zeta Q_{\mathbf{\varphi }}(\mathbf{s},{\pi }_{\mathbf{\theta }}(\mathbf{s}))\right]-{\Vert {\pi }_{\mathbf{\theta }}(\mathbf{s})-\mathbf{a}\Vert }^2\end{array}$$
其中权重$\zeta$与Q函数关系如下，
$$\zeta =\frac{\alpha }{\frac{1}{m}{\sum }_{(s_i,{\mathbf{a}}_i)\in \overline{\mathcal{B}}}|Q({\mathbf{s}}_i,{\mathbf{a}}_i)|}$$

在线阶段为了防止策略出现Performance drop, 对策略优化j保留BC项。如下：：
$$\begin{array}{rl}{J}_{\mathrm{online}}(\mathbf{\theta })& ={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[\zeta Q_{\mathbf{\varphi }}\left(\mathbf{s},{\pi }_{\mathbf{\theta }}(\mathbf{s})\right)\right]-\lambda {\Vert {\pi }_{\mathbf{\theta }}(\mathbf{s})-\mathbf{a}\Vert }^2\end{array}$$

价值函数通过最小化均方bellman误差：
$$\begin{gathered} L(\varphi )={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[{\left(\bar{y}-Q_{\mathbf{\varphi }}(\mathbf{s},\mathbf{a})\right)}^2\right](11) \\ \bar{y}=r+\underset{i=1,2}{\min }{Q}_{{\bar{\mathbf{\varphi }}}_i}(s{,}^{\prime }{\mathbf{a}}^{\prime }\sim {\pi }_{\bar{\mathbf{\theta }}}). \end{gathered}$$

伪代码

结果

对比的方法有点老，不知道和最近的一些Off2On、UPQ、E2O如何