索引

歡迎來到 PyTorch 教程#

PyTorch 教程有什麼新內容？

學習基礎知識

熟悉 PyTorch 的概念和模組。在本快速入門指南中，瞭解如何載入資料、構建深度神經網路、訓練和儲存模型。

開始使用 PyTorch

PyTorch 食譜

小巧、即用的 PyTorch 程式碼示例。

探索食譜

學習基礎知識

使用 PyTorch 構建完整機器學習工作流的分步指南。

入門

YouTube 上的 PyTorch 入門介紹

介紹如何使用 PyTorch 構建完整的機器學習工作流。遵循 YouTube 上的 PyTorch 初學者系列。

入門

透過示例學習 PyTorch

本教程透過自包含的示例介紹 PyTorch 的基本概念。

入門

torch.nn 到底是什麼？

使用 torch.nn 建立和訓練神經網路。

入門

使用 TensorBoard 視覺化模型、資料和訓練

學習使用 TensorBoard 視覺化資料和模型訓練。

可解釋性,入門,TensorBoard

良好使用 PyTorch 中的 `non_blocking` 和 `pin_memory()`

有關將資料從 CPU 複製到 GPU 的最佳實踐指南。

入門

理解 requires_grad、retain_grad、Leaf 和 Non-leaf Tensor

學習 requires_grad、retain_grad、葉子節點和非葉子節點的細微差別

入門

在 PyTorch 中視覺化梯度

視覺化網路的梯度流。

入門

TorchVision 目標檢測微調教程

微調預訓練的 Mask R-CNN 模型。

影像/影片

計算機視覺遷移學習教程

使用遷移學習訓練用於影像分類的卷積神經網路。

影像/影片

對抗樣本生成

使用遷移學習訓練用於影像分類的卷積神經網路。

影像/影片

DCGAN 教程

訓練生成對抗網路 (GAN) 以生成新的名人。

影像/影片

空間變換網路教程

學習如何使用視覺注意力機制來增強網路。

影像/影片

基於 USB 的半監督學習教程

學習如何使用 USB 和 PyTorch 訓練半監督學習演算法（在自定義資料上）。

影像/影片

音訊 IO

學習使用 torchaudio 載入資料。

音訊

音訊重取樣

學習使用 torchaudio 重取樣音訊波形。

音訊

音訊資料增強

學習使用 torchaudio 應用資料增強。

音訊

音訊特徵提取

學習使用 torchaudio 提取特徵。

音訊

音訊特徵增強

學習使用 torchaudio 增強特徵。

音訊

音訊資料集

學習使用 torchaudio 資料集。

音訊

在 torchaudio 中使用 Wav2Vec2 進行自動語音識別

瞭解如何使用 torchaudio 的預訓練模型來構建語音識別應用程式。

音訊

語音命令分類

學習如何正確格式化音訊資料集，然後在資料集上訓練/測試音訊分類網路。

音訊

使用 torchaudio 進行文字到語音轉換

瞭解如何使用 torchaudio 的預訓練模型來構建文字到語音應用程式。

音訊

在 torchaudio 中使用 Wav2Vec2 進行強制對齊

瞭解如何使用 torchaudio 的 Wav2Vec2 預訓練模型來對齊文字和語音

音訊

從頭開始進行 NLP：使用字元級 RNN 對姓名進行分類

構建和訓練一個基本的字元級 RNN，在不使用 torchtext 的情況下對單詞進行分類。此係列三篇教程中的第一篇。

NLP

從頭開始進行 NLP：使用字元級 RNN 生成姓名

在用字元級 RNN 對姓名進行分類後，學習如何從語言生成姓名。此係列三篇教程中的第二篇。

NLP

從頭開始進行 NLP：使用序列到序列網路和注意力進行翻譯

這是關於“從頭開始進行 NLP”的第三篇也是最後一篇教程，我們將編寫自己的類和函式來預處理資料，以完成我們的 NLP 建模任務。

NLP

使用 TorchDynamo 後端將 PyTorch 模型匯出到 ONNX，並使用 ONNX Runtime 執行它

在 PyTorch 中構建影像分類模型，並將其轉換為 ONNX，然後使用 ONNX Runtime 進行部署。

生產,ONNX,後端

擴充套件 ONNX 匯出器運算子支援

演示如何端到端地處理 ONNX 中不受支援的運算子。

生產,ONNX,後端

將帶有控制流的模型匯出到 ONNX

演示在將 PyTorch 模型匯出到 ONNX 時如何處理控制流邏輯。

生產,ONNX,後端

強化學習 (DQN)

學習如何使用 PyTorch 在 OpenAI Gym 的 CartPole-v0 任務上訓練深度 Q 網路 (DQN) 代理。

強化學習

使用 TorchRL 進行強化學習 (PPO)

學習如何使用 PyTorch 和 TorchRL 在 Gym 的倒立擺任務上訓練近端策略最佳化代理。

強化學習

訓練一個玩馬里奧的強化學習智慧體

使用 PyTorch 訓練雙 Q 學習代理以玩馬里奧。

強化學習

迴圈 DQN

使用 TorchRL 訓練迴圈策略

強化學習

編碼 DDPG 損失

使用 TorchRL 編碼 DDPG 損失

強化學習

編寫環境和變換

使用 TorchRL 編碼 Pendulum

強化學習

分析 PyTorch 效能

瞭解如何分析 PyTorch 應用程式

效能分析

分析 PyTorch 效能

整體跟蹤分析簡介

效能分析

_static/img/thumbnails/default.png

分析 PyTorch 效能

使用整體跟蹤分析進行跟蹤差異比較

效能分析

_static/img/thumbnails/default.png

使用 FX 構建簡單的效能分析器

構建一個簡單的 FX 直譯器來記錄 op、模組和函式呼叫的執行時，並報告統計資訊

FX

(beta) PyTorch 中的 Channels Last 記憶體格式

概述 Channels Last 記憶體格式，並瞭解如何使用它來按順序排列記憶體中的 NCHW 張量，同時保持維度。

記憶體格式,最佳實踐,前端 API

使用 PyTorch C++ 前端

透過訓練 DCGAN（一種生成模型）來生成 MNIST 數字影像，演示使用 C++ 前端訓練模型的端到端示例。

前端 API,C++

PyTorch 自定義運算元主頁

這是 PyTorch 自定義運算子相關所有內容的登入頁。

擴充套件 PyTorch,前端 API,C++,CUDA

自定義 Python 運算元

在 Python 中建立自定義運算子。可用於將 Python 函式黑盒化以與 torch.compile 一起使用。

擴充套件 PyTorch,前端 API,C++,CUDA

編譯的自動微分：為 ``torch.compile`` 捕獲更大的後向圖

瞭解如何使用編譯的自動微分來捕獲更大的後向圖。

模型最佳化,CUDA

自定義 C++ 和 CUDA 運算元

如何使用自定義 C++ 和 CUDA 運算子擴充套件 PyTorch。

擴充套件 PyTorch,前端 API,C++,CUDA

C++ 前端中的 Autograd

autograd 包有助於構建靈活且動態的神經網路。在本教程中，探索 PyTorch C++ 前端中進行 autograd 的幾個示例

前端 API,C++

在 C++ 中註冊一個分發運算元

分發器是 PyTorch 的內部元件，負責確定呼叫 torch::add 等函式時實際應執行哪些程式碼。

擴充套件 PyTorch,前端 API,C++

為 C++ 中的新後端擴充套件分發器

瞭解如何擴充套件分發器以新增位於 pytorch/pytorch 儲存庫之外的新裝置，並保持其與原生 PyTorch 裝置同步。

擴充套件 PyTorch,前端 API,C++

透過 PrivateUse1 促進新後端整合

瞭解如何整合位於 pytorch/pytorch 儲存庫之外的新後端，並保持其與原生 PyTorch 後端同步。

擴充套件 PyTorch,前端 API,C++

自定義函式教程：雙反向傳播

瞭解如何編寫支援雙反向傳播的自定義 autograd 函式。

擴充套件 PyTorch,前端 API

自定義函式教程：融合卷積和批次歸一化

瞭解如何建立自定義 autograd 函式，該函式將批次歸一化融合到卷積中以提高記憶體利用率。

擴充套件 PyTorch,前端 API

前向模式自動微分

瞭解如何使用前向模式自動微分。

前端 API

雅可比矩陣、海森矩陣、hvp、vhp 等

學習如何使用 torch.func 計算高階自動微分量

前端 API

模型整合

學習如何使用 torch.vmap 整合模型

前端 API

每個樣本的梯度

學習如何使用 torch.func 計算每個樣本的梯度

前端 API

神經正切核

學習如何使用 torch.func 計算神經切線核

前端 API

PyTorch 中的效能分析

瞭解如何使用 PyTorch Profiler 來基準測試模組的效能。

模型最佳化,最佳實踐,效能分析

TensorBoard 中的效能分析

瞭解如何使用 TensorBoard 外掛來分析模型的效能。

模型最佳化,最佳實踐,效能分析,TensorBoard

超引數調整教程

瞭解如何使用 Ray Tune 為模型找到最佳效能的超引數集。

模型最佳化,最佳實踐

引數化教程

瞭解如何使用 torch.nn.utils.parametrize 對引數施加約束（例如，使其正交、對稱正定、低秩...）

模型最佳化,最佳實踐

剪枝教程

瞭解如何使用 torch.nn.utils.prune 來稀疏化神經網路，以及如何擴充套件它來實現自己的自定義剪枝技術。

模型最佳化,最佳實踐

如何透過將最佳化器步驟融合到反向傳播過程中來節省記憶體

瞭解一種透過使用記憶體快照將最佳化器步驟融合到反向傳播過程中來節省記憶體的技術。

模型最佳化,最佳實踐,CUDA,前端 API

(beta) 使用半結構化稀疏性加速 BERT

訓練 BERT，將其剪枝為 2:4 稀疏，然後使用半結構化稀疏性和 torch.compile 加速其推理速度 2 倍。

文字,模型最佳化

使用 Ax 進行多目標神經架構搜尋

瞭解如何使用 Ax 在架構上進行搜尋，找到準確性和延遲之間的最佳權衡。

模型最佳化,最佳實踐,Ax,TorchX

torch.compile 教程

使用最新的 PyTorch 編譯器解決方案 torch.compile，以最少的程式碼更改來加速模型。

模型最佳化

torch.compile 端到端教程

將 torch.compile 應用於真實模型的示例，演示速度提升。

模型最佳化

在 torch.compile 中構建卷積/批次歸一化融合器

構建一個簡單的模式匹配器傳遞，該傳遞將批次歸一化融合到卷積中，以提高推理效能。

模型最佳化

Inductor CPU 後端除錯和效能分析

學習 ``torch.compile`` 與 Inductor CPU 後端的使用、除錯和效能分析。

模型最佳化

(beta) 使用 SCALED DOT PRODUCT ATTENTION 實現高效能 Transformer

本教程探討新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它來構建 Transformer 元件。

模型最佳化,注意力,Transformer

卷積神經網路中的知識蒸餾

瞭解如何使用更強大的模型作為教師來提高輕量級模型的準確性。

模型最佳化,影像/影片

透過用巢狀張量和 torch.compile() 替換 nn.Transformer 來加速 PyTorch Transformer

本教程將介紹使用原生 PyTorch 實現 Transformer 的推薦最佳實踐。

Transformer

PyTorch 分散式概述

簡要介紹分散式包中的所有概念和功能。使用本文件查詢最適合您應用程式的分散式訓練技術。

並行與分散式訓練

PyTorch 中的分散式資料並行 - 影片教程

本系列影片教程將透過 DDP 向您介紹 PyTorch 中的分散式訓練。

並行與分散式訓練

單機模型並行最佳實踐

學習如何實現模型並行，這是一種將單個模型分割到不同 GPU 上的分散式訓練技術，而不是在每個 GPU 上覆制整個模型。

並行與分散式訓練

分散式資料並行入門

學習在何時使用分散式資料並行與資料並行，並透過一個示例進行設定。

並行與分散式訓練

使用 PyTorch 編寫分散式應用程式

設定 PyTorch 的分散式包，使用不同的通訊策略，並回顧一些包的內部工作原理。

並行與分散式訓練

使用張量並行訓練大規模 Transformer 模型

瞭解如何使用張量並行包訓練大型模型。

並行與分散式訓練

使用 Cpp 擴充套件自定義程序組後端

使用自定義集合通訊實現擴充套件 ProcessGroup。

並行與分散式訓練

分散式 RPC 框架入門

瞭解如何使用 torch.distributed.rpc 包構建分散式訓練。

並行與分散式訓練

使用分散式 RPC 框架實現引數伺服器

透過一個簡單的示例，演示如何使用 PyTorch 的分散式 RPC 框架實現引數伺服器。

並行與分散式訓練

分散式流水線並行簡介

演示如何使用 torch.distributed.pipelining 實現流水線並行

並行與分散式訓練

使用非同步執行實現批處理 RPC

瞭解如何使用 rpc.functions.async_execution 實現批次 RPC

並行與分散式訓練

結合 Distributed DataParallel 和分散式 RPC 框架

透過一個簡單的示例，演示如何將分散式資料並行與分散式模型並行相結合。

並行與分散式訓練

完全分片資料並行 (FSDP2) 入門

瞭解如何使用 Fully Sharded Data Parallel (fully_shard) 包訓練模型。

並行與分散式訓練

Libuv TCPStore 後端簡介

TCPStore 現在使用新的伺服器後端以實現更快的連線和更好的可伸縮性。

並行與分散式訓練

使用 Monarch 進行互動式分散式應用程式

瞭解如何使用 Monarch 的單個控制器模型啟動分散式應用程式

並行與分散式訓練

匯出到 ExecuTorch 教程

瞭解如何使用 ExecuTorch，這是一個統一的 ML 堆疊，用於將 PyTorch 模型降低到邊緣裝置。

邊緣

在 C++ 中執行 ExecuTorch 模型教程

瞭解如何使用 C++ 載入和執行 ExecuTorch 模型

邊緣

使用 ExecuTorch SDK 分析模型

探索如何使用 ExecuTorch SDK 來分析、除錯和視覺化 ExecuTorch 模型

邊緣

構建 ExecuTorch iOS 演示應用程式

探索如何設定 ExecuTorch iOS Demo App，該應用使用 MobileNet v3 模型處理即時相機影像，利用三種不同的後端：XNNPACK、Core ML 和 Metal Performance Shaders (MPS)。

邊緣

構建 ExecuTorch Android 演示應用程式

瞭解如何設定 ExecuTorch Android Demo App，用於影像分割任務，使用 DeepLab v3 模型和 XNNPACK FP32 後端。

邊緣

將模型作為代理降低

透過三種方法（降低整個模組、將其與其他模組組合以及劃分模組部分）來應用代理，瞭解如何使用 ExecuTorch 來加速您的程式。

邊緣

TorchRec 簡介

TorchRec 是一個 PyTorch 領域庫，旨在為大型推薦系統提供常見的稀疏性和並行性原語。

TorchRec,推薦系統

探索 TorchRec 分片

本教程介紹瞭如何使用 `EmbeddingPlanner` 和 `DistributedModelParallel` API 對嵌入表進行分片。

TorchRec,推薦系統



附加資源#

PyTorch 示例

一套圍繞 PyTorch 的視覺、文字、強化學習方面的示例，您可以將其整合到您現有的工作中。

檢視示例

在 Google Colab 上執行教程

瞭解如何將教程資料複製到 Google Drive，以便您可以在 Google Colab 上執行教程。

開啟

在此頁面上
在 GitHub 上編輯
顯示原始碼
PyTorch 庫