SoftUpdate

class torchrl.objectives.SoftUpdate(loss_module: DQNLoss | DDPGLoss | SACLoss | REDQLoss | TD3Loss, *, eps: float | None = None, tau: float | None = None)

用於 Double DQN/DDPG 中目標網路更新的軟更新類。

該方法在“CONTINUOUS CONTROL WITH DEEP REINFORCEMENT LEARNING”中提出，https://arxiv.org/pdf/1509.02971.pdf

只能指定一個衰減因子（tau 或 eps）。

引數:

• loss_module (DQNLoss 或 DDPGLoss) – 需要更新目標網路的目標模組。

• eps (scalar) –

  更新方程中的 epsilon：.. math

  \theta_t = \theta_{t-1} * \epsilon + \theta_t * (1-\epsilon)
  

  與 tau 互斥。

• tau (scalar) – Polyak tau。它等於 1-eps，並且與 eps 互斥。