stateless_init_process_group

class torchrl.modules.llm.stateless_init_process_group(master_address: str | None, master_port: str | None, rank, world_size, device)

為分散式通訊初始化一個無狀態程序組。

建立一個 StatelessProcessGroup 例項，而不依賴於 torch.distributed 中的全域性程序組。這種方法推薦用於初始化外部程序（例如，訓練程序）和 vLLM 工作程序之間的資料平面通訊（NCCL）。

引數:

• master_address (str | None) – 主節點的地址。如果未指定，則預設為“localhost”。

• master_port (str | None) – 主節點使用的埠。如果未指定，則自動分配一個開放埠。

• rank (int) – 當前程序的秩。

• world_size (int) – 分散式組中的總程序數。

• device – 用於通訊的裝置。

返回:

一個使用建立的 StatelessProcessGroup 例項化的 PyNcclCommunicator 例項。

返回型別:

PyNcclCommunicator