DreamerValueLoss

class torchrl.objectives.DreamerValueLoss(*args, **kwargs)

Dreamer Value Loss。

計算 dreamer value 模型的損失。value 損失在預測值和 lambda 目標之間計算。

參考： https://arxiv.org/abs/1912.01603。

引數:

• value_model (TensorDictModule) – value 模型。

• value_loss (str, optional) – 用於 value 損失的損失函式。預設為 "l2"。

• discount_loss (bool, optional) – 如果為 True，則使用 gamma 折扣因子對損失進行折扣。預設為 False。

• gamma (float, optional) – gamma 折扣因子。預設為 0.99。

default_keys

別名：_AcceptedKeys

forward(fake_data) → Tensor

它旨在讀取一個輸入的 TensorDict 並返回另一個包含名為“loss*”的損失鍵的 tensordict。

將損失分解為其組成部分可以被訓練器用於在訓練過程中記錄各種損失值。輸出 tensordict 中存在的其他標量也將被記錄。

引數:

tensordict – 一個輸入的 tensordict，包含計算損失所需的值。

返回:

一個沒有批處理維度的新 tensordict，其中包含各種損失標量，這些標量將被命名為“loss*”。重要的是，損失必須以這個名稱返回，因為它們將在反向傳播之前被訓練器讀取。