DDPG发展自DPG，同样是“确定性策略梯度方法”，相较于DPG，其变化是：DPG等前序的算法只是把“函数拟合”的思想引入强化学习，其实际流程还是相当于自己写了个底层（写了详细的参数更新流程），并没有引入深度学习（神经网络）相关的东西，而DDPG则与深度学习（神经网络）的方法更彻底的结合，直接把深度学习的工具拿来用 。
除此之外，还有DDPG还把双网络、经验回放引入了算法中。
一、Loss Function
传统的Loss Function是用Y与Y_targrt来列写的，使Y可以接近Y_targrt，即Y接近真值。
典型的Loss Function有：L1，MES（均方误差），CrossEntropy。
1、Critic的Loss Function
Critic更新目标是使网络可以尽可能准确地估计真实的q值，即网络输出的q值与真实q值越靠近越好。
Critic输入是当前状态与在该状态下采取的动作，输出是该状态动作对的q值。
DDPG采用双网络技巧，故Critic网络分为Q与Q_traget两个网络。
Q_traget网络的输出与环境反馈数据共同计算后得到q_target（Y_target）：
Q网络的输出就是q（Y）:
由此，采用MESLoss可以定义用于Critic网络更新的Loss Function：
具体到实现中的梯度下降式子是：
2、Actor的Loss Function
Actor更新目标是使网络可以在当前状态下尽可能选择选择最优的动作，而当前状态下不同动作的优劣是由Critic输出的q值评价的，所以要以这个q值作为更新的依据，我们期望Actor输出的a在Critic的评价下q值越大越好。
那么如何定义loss呢？因为并没有一个参考值可以构建类似Critic那样的Loss Function。
这里要明确的是q值本身就是一个优化目标：
q越大越好，一般而言优化q值采用的是梯度上升的方式：
一般的神经网络采用梯度下降的算法更新参数，为了适应深度学习工具，可以把q的负值定义为Loss：
二、不严谨的流程
对于一个episode的每个step：
有一个探索性很强的策略（可以是当前策略
+噪声），进行探索，获取经验：
Critic：
计算q_target：
计算q：
计算Loss：
梯度下降
Actor：
计算a：
计算a对应的q值（-Loss）：
梯度下降
达到一定轮次，更新目标网络的参数：