使用 gym

什麼是 OpenAI Gym？

OpenAI Gym 是一個 Python 庫，提供了用於在 RL 上下文中編寫和使用環境的工具。環境可以是模擬器，也可以是現實世界的系統（如機器人或遊戲）。由於其易用性，Gym 已被廣泛採用，成為 RL 和控制領域環境互動的主要 API 之一。

歷史上，Gym 由 OpenAI 在 https://github.com/openai/gym 上啟動。此後，OpenAI 不再維護它，該庫已被 Farama Foundation 在 Gymnasium 中分叉。

請參閱 Gym 文件 以獲取有關安裝和使用的詳細資訊。

版本控制

眾所周知，OpenAI Gym 庫經歷了多次向後不相容的更改和重大的使用者可見 API 修改。實際上，TorchRL 已針對 gym 0.13 及更高版本進行了測試，並且應該可以在這兩個版本之間的任何版本上正常工作。

但是，基於 Gym 構建的庫可能具有自定義的環境構建過程，這會破壞來自 GymEnv 類的自動包裝。在這種情況下，最好先建立 gym 環境，然後使用 torchrl.envs.libs.gym.GymWrapper 進行包裝。

如果您在使用特定版本的 gym 執行 TorchRL 時遇到問題，請隨時提出 issue，我們將很樂意為您解決。