ProbabilisticActor¶
- class torchrl.modules.tensordict_module.ProbabilisticActor(*args, **kwargs)[原始碼]¶
RL 中機率性 Actor 的通用類。
Actor 類提供了 `out_keys` 的預設值（[“action”]），如果提供了 `spec` 但它不是 Composite 物件，它將被自動轉換為
spec = Composite(action=spec)- 引數:
module (nn.Module) – 一個
torch.nn.Module，用於將輸入對映到輸出引數空間。in_keys (str 或 str 可迭代物件或dict) – 將從輸入 TensorDict 讀取並用於構建分佈的鍵。重要的是，如果它是字串的可迭代物件或字串，則這些鍵必須與感興趣的分佈類使用的關鍵字匹配，例如，對於 Normal 分佈及其類似物，為
"loc"和"scale"。如果 in_keys 是一個字典，鍵是分佈的鍵，值是 tensordict 中將與相應分佈鍵匹配的鍵。out_keys (str 或 str 可迭代物件) – 將寫入取樣值的鍵。重要的是，如果這些鍵存在於輸入 TensorDict 中，則將跳過取樣步驟。
spec (TensorSpec, 可選) – 包含輸出張量規範的關鍵字唯一引數。如果模組輸出多個輸出張量，spec 將表徵第一個輸出張量的空間。
safe (bool) – 關鍵字唯一引數。如果為
True，將根據輸入 spec 檢查輸出值。由於探索策略或數值下溢/溢位問題，可能會發生域外取樣。如果此值超出範圍，將使用TensorSpec.project方法將其投影回期望空間。預設為False。default_interaction_type (tensordict.nn.InteractionType, 可選) –
關鍵字唯一引數。用於檢索輸出值的預設方法。應為以下之一：
InteractionType.MODE,InteractionType.DETERMINISTIC,InteractionType.MEDIAN,InteractionType.MEAN或InteractionType.RANDOM(後一種情況是從分佈中隨機取樣值)。TorchRL 的ExplorationType類是InteractionType的代理。預設為InteractionType.DETERMINISTIC。注意
當抽取樣本時，
ProbabilisticActor例項將首先查詢由全域性函式interaction_type()指定的互動模式。如果此函式返回 None（其預設值），則將使用 ProbabilisticTDModule 例項的 default_interaction_type。請注意，DataCollectorBase例項預設將使用 set_interaction_type 設定為tensordict.nn.InteractionType.RANDOM。distribution_class (Type, 可選) –
關鍵字唯一引數。要用於取樣的
torch.distributions.Distribution類。預設為tensordict.nn.distributions.Delta。注意
如果
distribution_class的型別是CompositeDistribution，則鍵將從該分佈的distribution_map/name_map關鍵字引數推斷。如果此分佈與其他建構函式（例如 partial 或 lambda 函式）一起使用，則需要顯式提供 out_keys。另請注意，動作前面不會加上"action"鍵，請參閱下面的示例，瞭解如何使用ProbabilisticActor實現這一點。distribution_kwargs (dict, 可選) – 關鍵字唯一引數。要傳遞給分佈的關鍵字引數對。
return_log_prob (bool, 可選) – 關鍵字唯一引數。如果為
True，則分佈樣本的對數機率將以鍵 ‘sample_log_prob’ 寫入 tensordict。預設為False。cache_dist (bool, 可選) – 關鍵字唯一引數。實驗性：如果為
True，則分佈的引數（即模組的輸出）將與樣本一起寫入 tensordict。這些引數可用於以後重新計算原始分佈（例如，計算用於取樣動作的分佈與 PPO 中更新的分佈之間的散度）。預設為False。n_empirical_estimate (int, 可選) – 關鍵字唯一引數。當經驗均值不可用時，用於計算經驗均值的樣本數。預設為 1000。
示例
>>> import torch >>> from tensordict import TensorDict >>> from tensordict.nn import TensorDictModule >>> from torchrl.data import Bounded >>> from torchrl.modules import ProbabilisticActor, NormalParamExtractor, TanhNormal >>> td = TensorDict({"observation": torch.randn(3, 4)}, [3,]) >>> action_spec = Bounded(shape=torch.Size([4]), ... low=-1, high=1) >>> module = nn.Sequential(torch.nn.Linear(4, 8), NormalParamExtractor()) >>> tensordict_module = TensorDictModule(module, in_keys=["observation"], out_keys=["loc", "scale"]) >>> td_module = ProbabilisticActor( ... module=tensordict_module, ... spec=action_spec, ... in_keys=["loc", "scale"], ... distribution_class=TanhNormal, ... ) >>> td = td_module(td) >>> td TensorDict( fields={ action: Tensor(shape=torch.Size([3, 4]), device=cpu, dtype=torch.float32, is_shared=False), loc: Tensor(shape=torch.Size([3, 4]), device=cpu, dtype=torch.float32, is_shared=False), observation: Tensor(shape=torch.Size([3, 4]), device=cpu, dtype=torch.float32, is_shared=False), scale: Tensor(shape=torch.Size([3, 4]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([3]), device=None, is_shared=False)
機率性 Actor 還透過
tensordict.nn.CompositeDistribution類支援複合動作。此分佈以 tensordict 作為輸入（通常是 “params”）並將其作為一個整體讀取：此 tensordict 的內容是複合分佈中包含的分佈的輸入。示例
>>> from tensordict import TensorDict >>> from tensordict.nn import CompositeDistribution, TensorDictModule >>> from torchrl.modules import ProbabilisticActor >>> from torch import nn, distributions as d >>> import torch >>> >>> class Module(nn.Module): ... def forward(self, x): ... return x[..., :3], x[..., 3:6], x[..., 6:] >>> module = TensorDictModule(Module(), ... in_keys=["x"], ... out_keys=[("params", "normal", "loc"), ... ("params", "normal", "scale"), ... ("params", "categ", "logits")]) >>> actor = ProbabilisticActor(module, ... in_keys=["params"], ... distribution_class=CompositeDistribution, ... distribution_kwargs={"distribution_map": { ... "normal": d.Normal, "categ": d.Categorical}} ... ) >>> data = TensorDict({"x": torch.rand(10)}, []) >>> actor(data) TensorDict( fields={ categ: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.int64, is_shared=False), normal: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False), params: TensorDict( fields={ categ: TensorDict( fields={ logits: Tensor(shape=torch.Size([4]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False), normal: TensorDict( fields={ loc: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False), scale: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False), x: Tensor(shape=torch.Size([10]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False)
使用機率性 Actor 和複合分佈可以透過以下示例程式碼實現：
示例
>>> import torch >>> from tensordict import TensorDict >>> from tensordict.nn import CompositeDistribution >>> from tensordict.nn import TensorDictModule >>> from torch import distributions as d >>> from torch import nn >>> >>> from torchrl.modules import ProbabilisticActor >>> >>> >>> class Module(nn.Module): ... def forward(self, x): ... return x[..., :3], x[..., 3:6], x[..., 6:] ... >>> >>> module = TensorDictModule(Module(), ... in_keys=["x"], ... out_keys=[ ... ("params", "normal", "loc"), ("params", "normal", "scale"), ("params", "categ", "logits") ... ]) >>> actor = ProbabilisticActor(module, ... in_keys=["params"], ... distribution_class=CompositeDistribution, ... distribution_kwargs={"distribution_map": {"normal": d.Normal, "categ": d.Categorical}, ... "name_map": {"normal": ("action", "normal"), ... "categ": ("action", "categ")}} ... ) >>> print(actor.out_keys) [('params', 'normal', 'loc'), ('params', 'normal', 'scale'), ('params', 'categ', 'logits'), ('action', 'normal'), ('action', 'categ')] >>> >>> data = TensorDict({"x": torch.rand(10)}, []) >>> module(data) >>> print(actor(data)) TensorDict( fields={ action: TensorDict( fields={ categ: Tensor(shape=torch.Size([]), device=cpu, dtype=torch.int64, is_shared=False), normal: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False), params: TensorDict( fields={ categ: TensorDict( fields={ logits: Tensor(shape=torch.Size([4]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False), normal: TensorDict( fields={ loc: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False), scale: Tensor(shape=torch.Size([3]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False), x: Tensor(shape=torch.Size([10]), device=cpu, dtype=torch.float32, is_shared=False)}, batch_size=torch.Size([]), device=None, is_shared=False)
