VecGymEnvTransform

class torchrl.envs.transforms.VecGymEnvTransform(final_name: str = 'final', missing_obs_value: Any = nan)

一個用於 GymWrapper 子類的轉換，以一致的方式處理自動重置。

Gym、gymnasium 和 SB3 提供向量化（讀取、並行或批次）環境，這些環境會自動重置。發生這種情況時，實際的觀測結果會儲存在 info 中的一個鍵中。類 torchrl.envs.libs.gym.terminal_obs_reader 會讀取該觀測結果，並將其儲存在輸出 tensordict 中的 "final" 鍵中。接著，該轉換會讀取這個 final 資料，將其與實際重置操作寫入的觀測結果進行交換，並將重置後的輸出儲存在私有容器中。生成的資料真正反映了 step 的輸出。

此類適用於從 gym 0.13 到最新的 gymnasium 版本。

注意

Gym 版本 < 0.22 不返回最終觀測結果。對於這些版本，我們只用 NaN 填充下一個觀測結果（因為它丟失了），並在下一步進行交換。

然後，當呼叫 env.reset 時，儲存的資料會被寫回原處（並且 reset 操作將不起作用）。

當使用非同步環境建立 wrapper 時，此轉換會自動附加到 gym 環境中。

引數:

• final_name (str, optional) – dict 中最終觀測值的名稱。預設為 “final”。

• missing_obs_value (Any, optional) – 用於缺失的最後一個觀測值的預設佔位符。預設為 np.nan。

注意

總的來說，此類不應直接處理。當一個向量化環境被放置在 GymWrapper 中時，它會被自動建立。

forward(tensordict: TensorDictBase) → TensorDictBase

讀取輸入 tensordict，並對選定的鍵應用轉換。

預設情況下，此方法

• 直接呼叫 _apply_transform()。

• 不呼叫 _step() 或 _call()。

此方法不會在任何時候在 env.step 中呼叫。但是，它會在 sample() 中呼叫。

注意

forward 也可以使用 dispatch 將引數名稱轉換為鍵，並使用常規關鍵字引數。

示例

>>> class TransformThatMeasuresBytes(Transform):
...     '''Measures the number of bytes in the tensordict, and writes it under `"bytes"`.'''
...     def __init__(self):
...         super().__init__(in_keys=[], out_keys=["bytes"])
...
...     def forward(self, tensordict: TensorDictBase) -> TensorDictBase:
...         bytes_in_td = tensordict.bytes()
...         tensordict["bytes"] = bytes
...         return tensordict
>>> t = TransformThatMeasuresBytes()
>>> env = env.append_transform(t) # works within envs
>>> t(TensorDict(a=0))  # Works offline too.

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

轉換觀察規範，使結果規範與轉換對映匹配。

引數:

observation_spec (TensorSpec) – 轉換前的規範

返回:

轉換後的預期規範