VmasEnv¶
- torchrl.envs.VmasEnv(*args, **kwargs)[原始碼]¶
Vmas 環境包裝器。
GitHub: https://github.com/proroklab/VectorizedMultiAgentSimulator
論文: https://arxiv.org/abs/2207.03530
- 引數:
scenario (str 或 vmas.simulator.scenario.BaseScenario) – 要構建的 vmas 場景。必須是
available_envs之一。有關可用場景的描述和渲染，請參閱 README。- 關鍵字引數:
num_envs (int) – 向量化模擬環境的數量。VMAS 使用 PyTorch 進行向量化模擬。此引數表示應在批處理中模擬的向量化環境的數量。它還將確定環境的批次大小。
device (torch.device, 可選) – 模擬裝置。預設為預設裝置。VMAS 建立的所有張量都將放置在此裝置上。
continuous_actions (bool, 可選) – 是否使用連續動作。預設為
True。如果為False，則動作將是離散的。動作的數量和大小將取決於所選的場景。有關更多資訊，請參閱 VMAS 倉庫。max_steps (int, 可選) – 任務的範圍。預設為
None（無限範圍）。每個 VMAS 場景都可以是終止的或非終止的。如果指定了max_steps，則每當達到此範圍時，場景也會終止（並且"terminated"標誌會被設定）。與 gym 的TimeLimit轉換或 torchrl 的StepCounter不同，此引數不會在 tensordict 中設定"truncated"條目。categorical_actions (bool, optional) – 如果環境動作是離散的，是否將它們轉換為分類或獨熱編碼。預設為
True。group_map (MarlGroupMapType 或 Dict[str, List[str]], 可選) – 如何在 tensordicts 中對代理進行分組以用於輸入/輸出。預設情況下，如果代理名稱遵循
"<name>_<int>"約定，它們將按"<name>"分組。如果它們不遵循此約定，它們將被全部放入一個名為"agents"的組中。否則，可以指定組對映或從一些預製選項中選擇。有關更多資訊，請參閱MarlGroupMapType。**kwargs (Dict, 可選) – 這些是可傳遞給 VMAS 場景建構函式的附加引數。（例如，代理數量、獎勵稀疏性）。可用引數將因所選場景而異。要檢視特定場景的可用引數，請參閱其在 場景資料夾 中的檔案中的建構函式。
- 變數:
group_map (Dict[str, List[str]]) – 如何在 tensordicts 中分組智慧體以用於輸入/輸出。有關更多資訊，請參閱
MarlGroupMapType。agent_names (list of str) – 環境中智慧體的名稱
agent_names_to_indices_map (Dict[str, int]) – 將智慧體名稱對映到其在環境中的索引的字典
unbatched_action_spec (TensorSpec) – 沒有向量化維度的 spec 版本
unbatched_observation_spec (TensorSpec) – 沒有向量化維度的 spec 版本
unbatched_reward_spec (TensorSpec) – 沒有向量化維度的 spec 版本
het_specs (bool) – 環境是否有任何延遲 spec
het_specs_map (Dict[str, bool]) – 將每個組對映到一個表示該組是否有延遲 spec 的標誌的字典
available_envs (List[str]) – 可用於構建的場景列表。
警告
VMAS 返回一個單一的
done標誌，該標誌不區分環境何時達到max_steps和何時終止。如果您認為truncation訊號是必要的，請將max_steps設定為None並使用StepCounter轉換。示例
>>> env = VmasEnv( ... scenario="flocking", ... num_envs=32, ... continuous_actions=True, ... max_steps=200, ... device="cpu", ... seed=None, ... # Scenario kwargs ... n_agents=5, ... ) >>> print(env.rollout(10)) TensorDict( fields={ agents: TensorDict( fields={ action: Tensor(shape=torch.Size([32, 10, 5, 2]), device=cpu, dtype=torch.float32, is_shared=False), info: TensorDict( fields={ agent_collision_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False), agent_distance_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), observation: Tensor(shape=torch.Size([32, 10, 5, 18]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), done: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False), next: TensorDict( fields={ agents: TensorDict( fields={ info: TensorDict( fields={ agent_collision_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False), agent_distance_rew: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), observation: Tensor(shape=torch.Size([32, 10, 5, 18]), device=cpu, dtype=torch.float32, is_shared=False), reward: Tensor(shape=torch.Size([32, 10, 5, 1]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([32, 10, 5]), device=cpu, is_shared=False), done: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False), terminated: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False)}, batch_size=torch.Size([32, 10]), device=cpu, is_shared=False), terminated: Tensor(shape=torch.Size([32, 10, 1]), device=cpu, dtype=torch.bool, is_shared=False)}, batch_size=torch.Size([32, 10]), device=cpu, is_shared=False)
