復現性#
創建於：2018 年 9 月 11 日 | 最後更新於：2024 年 11 月 26 日
PyTorch 版本、單個提交或不同平臺之間的完全可復現的結果無法保證。此外，即使使用相同的種子，CPU 和 GPU 執行之間的結果也可能不具有可復現性。
但是，您可以採取一些步驟來限制特定平臺、裝置和 PyTorch 版本中非確定性行為的來源數量。首先，您可以控制可能導致應用程式多次執行行為不同的隨機性來源。其次，您可以配置 PyTorch 以避免對某些操作使用非確定性演算法，從而使給定相同輸入的操作的多次呼叫產生相同的結果。
警告
確定性操作通常比非確定性操作慢，因此單次執行的效能可能會下降。然而，確定性可能透過促進實驗、除錯和迴歸測試來節省開發時間。
控制隨機性來源#
PyTorch 隨機數生成器#
您可以使用 torch.manual_seed() 來為所有裝置（CPU 和 CUDA）設定隨機數生成器的種子。
import torch
torch.manual_seed(0)
某些 PyTorch 操作可能在內部使用隨機數。例如，torch.svd_lowrank() 就是這樣。因此，用相同的輸入引數連續多次呼叫它可能會產生不同的結果。但是，只要在應用程式的開頭將 torch.manual_seed() 設定為常量，並且消除了所有其他非確定性來源，那麼每次在相同環境中執行應用程式時都會生成相同的隨機數序列。
透過將 torch.manual_seed() 設定為相同的值，也有可能獲得使用隨機數的操作的相同結果。
其他庫中的隨機數生成器#
如果您或您使用的任何庫依賴於 NumPy，您可以使用以下方法為全域性 NumPy RNG 設定種子：
import numpy as np
np.random.seed(0)
然而，一些應用程式和庫可能使用 NumPy Random Generator 物件，而不是全域性 RNG（https://numpy.org/doc/stable/reference/random/generator.html），這些也需要一致地設定種子。
如果您使用任何其他使用隨機數生成器的庫，請參閱這些庫的文件，瞭解如何為它們設定一致的種子。
CUDA 卷積基準測試#
cuDNN 庫（CUDA 卷積操作使用）可能是應用程式多次執行時非確定性的來源。當使用一組新的大小引數呼叫 cuDNN 卷積時，一個可選功能可以執行多個卷積演算法，並對它們進行基準測試以找到最快的。然後，在整個過程中，對於相應的大小引數集，將一致地使用最快的演算法。由於基準測試的噪聲和不同的硬體，即使在同一臺機器上，基準測試也可能在後續執行中選擇不同的演算法。
透過 torch.backends.cudnn.benchmark = False 停用基準測試功能會導致 cuDNN 確定性地選擇演算法，但可能會犧牲效能。
但是，如果您不需要應用程式多次執行之間的可復現性，那麼啟用基準測試功能（torch.backends.cudnn.benchmark = True）可能會提高效能。
請注意，此設定與下面討論的 torch.backends.cudnn.deterministic 設定不同。
避免非確定性演算法#
torch.use_deterministic_algorithms() 允許您配置 PyTorch 使用確定性演算法而不是非確定性演算法（如果可用），並在操作已知為非確定性（且沒有確定性替代方案）時丟擲錯誤。
請檢視 torch.use_deterministic_algorithms() 的文件以獲取受影響操作的完整列表。如果某個操作的行為不符合文件，或者您需要一個沒有確定性實現的非確定性操作的確定性實現，請提交一個 issue：pytorch/pytorch#issues
例如，執行 torch.Tensor.index_add_() 的非確定性 CUDA 實現將丟擲錯誤。
>>> import torch
>>> torch.use_deterministic_algorithms(True)
>>> torch.randn(2, 2).cuda().index_add_(0, torch.tensor([0, 1]), torch.randn(2, 2))
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
RuntimeError: index_add_cuda_ does not have a deterministic implementation, but you set
'torch.use_deterministic_algorithms(True)'. ...
當使用稀疏-密集 CUDA 張量呼叫 torch.bmm() 時，它通常使用非確定性演算法，但當啟用確定性標誌時，將使用其備用的確定性實現。
>>> import torch
>>> torch.use_deterministic_algorithms(True)
>>> torch.bmm(torch.randn(2, 2, 2).to_sparse().cuda(), torch.randn(2, 2, 2).cuda())
tensor([[[ 1.1900, -2.3409],
[ 0.4796, 0.8003]],
[[ 0.1509, 1.8027],
[ 0.0333, -1.1444]]], device='cuda:0')
此外，如果您使用的是 CUDA 張量，並且您的 CUDA 版本為 10.2 或更高，則應根據 CUDA 文件設定環境變數 CUBLAS_WORKSPACE_CONFIG：https://docs.nvidia.com/cuda/cublas/index.html#results-reproducibility
CUDA 卷積確定性#
雖然停用 CUDA 卷積基準測試（如上所述）確保了 CUDA 在每次應用程式執行時都選擇相同的演算法，但該演算法本身可能是非確定性的，除非設定了 torch.use_deterministic_algorithms(True) 或 torch.backends.cudnn.deterministic = True。後一個設定僅控制此行為，與 torch.use_deterministic_algorithms() 不同，後者還將使其他 PyTorch 操作也表現出確定性。
CUDA RNN 和 LSTM#
在某些 CUDA 版本中，RNN 和 LSTM 網路可能具有非確定性行為。有關詳細資訊和解決方法，請參閱 torch.nn.RNN() 和 torch.nn.LSTM()。
填充未初始化記憶體#
像 torch.empty() 和 torch.Tensor.resize_() 這樣的操作可以返回包含未初始化記憶體的張量，這些張量包含未定義的值。將此類張量用作另一個操作的輸入在需要確定性時是無效的，因為輸出將是非確定性的。但實際上並沒有什麼可以阻止執行這種無效的程式碼。因此，為了安全起見，torch.utils.deterministic.fill_uninitialized_memory 預設設定為 True，如果設定了 torch.use_deterministic_algorithms(True)，它將用已知值填充未初始化記憶體。這將防止這種非確定性行為的可能性。
但是，填充未初始化記憶體會損害效能。因此，如果您的程式有效且不將未初始化記憶體用作操作的輸入，那麼可以關閉此設定以獲得更好的效能。
DataLoader#
DataLoader 將按照 多程序資料載入中的隨機性 演算法重新設定工作程序的種子。使用 worker_init_fn() 和 generator 來保持可復現性。
def seed_worker(worker_id):
worker_seed = torch.initial_seed() % 2**32
numpy.random.seed(worker_seed)
random.seed(worker_seed)
g = torch.Generator()
g.manual_seed(0)
DataLoader(
train_dataset,
batch_size=batch_size,
num_workers=num_workers,
worker_init_fn=seed_worker,
generator=g,
)
