recipes_index

在 Google Colab 中執行

Colab

下載 Notebook

Notebook

在 GitHub 上檢視

GitHub

食譜

食譜是關於如何使用特定 PyTorch 功能的簡潔、可操作的示例，與我們的完整教程不同。

---

定義神經網路

瞭解如何使用 PyTorch 的 torch.nn 包為 MNIST 資料集建立和定義神經網路。

基礎知識

PyTorch 中的 state_dict 是什麼

瞭解在儲存或載入 PyTorch 模型時如何使用 state_dict 物件和 Python 字典。

基礎知識

在 PyTorch 中使用來自不同模型的引數熱啟動模型

瞭解透過部分載入模型或載入部分模型來預熱訓練過程如何幫助您的模型比從頭開始訓練更快地收斂。

基礎知識

在 PyTorch 中梯度清零

瞭解何時應將梯度歸零以及這樣做如何幫助提高模型的準確性。

基礎知識

PyTorch Benchmark

瞭解如何使用 PyTorch 的 benchmark 模組來測量和比較程式碼的效能

基礎知識

PyTorch Benchmark (快速入門)

瞭解如何測量程式碼片段的執行時間並收集指令。

基礎知識

PyTorch Profiler

瞭解如何使用 PyTorch 的 profiler 來測量運算元時間和記憶體消耗

基礎知識

具有插樁和跟蹤技術 API (ITT API) 支援的 PyTorch Profiler

瞭解如何在 Intel® VTune™ Profiler GUI 中使用具有插樁和跟蹤技術 API (ITT API) 的 PyTorch profiler 來視覺化運算元標籤

基礎知識

使用 ``torch.compiler.set_stance`` 進行動態編譯控制

瞭解如何使用 torch.compiler.set_stance

編譯器

在 PyTorch 中推理形狀

瞭解如何使用 meta 裝置來推理模型中的形狀。

基礎知識

從 Checkpoint 載入 nn.Module 的技巧

瞭解從 checkpoint 載入 nn.Module 的技巧。

基礎知識

(beta) 使用 TORCH_LOGS 觀察 torch.compile

瞭解如何使用 torch 日誌 API 來觀察編譯過程。

基礎知識

nn.Module 中用於載入 state_dict 和 tensor 子類的擴充套件點

nn.Module 中的新擴充套件點。

基礎知識

torch.export AOTInductor 教程（面向 Python 執行時）

學習一個端到端的示例，演示如何為 Python 執行時使用 AOTInductor。

基礎知識

torch.export 流程演示、常見挑戰及解決方案

瞭解如何為常用用例匯出模型

編譯器,TorchCompile

使用 Captum 進行模型可解釋性分析

瞭解如何使用 Captum 將影像分類器的預測歸因於其對應的影像特徵，並可視化歸因結果。

可解釋性,Captum

如何在 PyTorch 中使用 TensorBoard

瞭解 TensorBoard 的基本用法，以及如何在 TensorBoard UI 中視覺化資料

視覺化,TensorBoard

自動混合精度

使用 torch.cuda.amp 在 NVIDIA GPU 上減少執行時並節省記憶體。

模型最佳化

效能調優指南

實現最佳效能的技巧。

模型最佳化

在 Intel® Xeon® 上最佳化 CPU 效能（使用 run_cpu 指令碼）

如何在 Intel® Xeon CPU 上使用 run_cpu 指令碼獲得最佳執行時配置。

模型最佳化

(測試版) 將 Torch 函式模式與 torch.compile 結合使用

使用 Torch Function 模式和 torch.compile 覆蓋 torch 運算元

模型最佳化

(beta) 使用 torch.compile 編譯最佳化器

使用 torch.compile 加速最佳化器

模型最佳化

(beta) 使用 LR 排程器執行已編譯的最佳化器

使用 LRScheduler 和 torch.compiled 最佳化器加速訓練

模型最佳化

(beta) 使用 foreach_map 和 torch.compile 進行顯式水平融合

使用 torch.compile 水平融合點對點操作

模型最佳化

使用使用者定義的 Triton 核心配合 ``torch.compile``

瞭解如何使用使用者定義的核心配合 ``torch.compile``

模型最佳化

``torch.compile`` 中的編譯時快取

瞭解如何在 ``torch.compile`` 中使用編譯時快取

模型最佳化

編譯時快取配置

瞭解如何在 ``torch.compile`` 中配置編譯時快取

模型最佳化

透過區域編譯減少 torch.compile 的冷啟動編譯時間

瞭解如何使用區域編譯來控制冷啟動編譯時間

模型最佳化

Intel® Neural Compressor for PyTorch

透過 Intel® Neural Compressor 實現 PyTorch 的易用量化。

量化,模型最佳化

DeviceMesh 入門

瞭解如何使用 DeviceMesh

分散式訓練

使用 ZeroRedundancyOptimizer 分片最佳化器狀態

如何使用 ZeroRedundancyOptimizer 減少記憶體消耗。

分散式訓練

使用 TensorPipe RPC 進行直接裝置到裝置通訊

如何使用具有直接 GPU 到 GPU 通訊的 RPC。

分散式訓練

分散式檢查點 (DCP) 入門

瞭解如何使用 Distributed Checkpoint 包來 checkpoint 分散式模型。

分散式訓練

非同步 checkpoint (DCP)

瞭解如何使用 Distributed Checkpoint 包來 checkpoint 分散式模型。

分散式訓練

CommDebugMode 入門

瞭解如何將 CommDebugMode 用於 DTensors

分散式訓練

透過區域編譯減少 AoT 冷啟動編譯時間

瞭解如何使用區域編譯來控制 AoT 冷啟動編譯時間

模型最佳化