stateless_init_process_group_async

class torchrl.modules.llm.stateless_init_process_group_async(master_address: str | None, master_port: str | None, rank: int, world_size: int, device)

為分散式通訊（非同步版本）初始化一個無狀態程序組。

建立 StatelessProcessGroup 例項，而不依賴於 torch.distributed 中的全域性程序組。建議使用此方法來初始化外部程序（例如，訓練程序）和 vLLM 工作程序之間的資料平面通訊（NCCL）。

引數:

• master_address (str | None) – 主節點的地址。如果未指定，則預設為“localhost”。

• master_port (str | None) – 主節點使用的埠。如果未指定，則自動分配一個開放的埠。

• rank (int) – 當前程序的 rank。

• world_size (int) – 分散式組中的總程序數。

• device – 用於通訊的裝置。

返回:

一個使用建立的 StatelessProcessGroup 例項化的 PyNcclCommunicator 例項。

返回型別:

PyNcclCommunicator