深入探討

在 Google Colab 中執行

Colab

下載 Notebook

Notebook

在 GitHub 上檢視

GitHub

深入探討

本節旨在提高模型效能，包含關於效能分析、超引數調整、量化以及其他最佳化 PyTorch 模型以提高效率和速度的教程。

---

PyTorch 效能分析

瞭解如何分析 PyTorch 應用程式的效能

效能分析

引數化教程

瞭解如何使用 torch.nn.utils.parametrize 為您的引數施加約束（例如，使其正交、對稱正定、低秩……）

模型最佳化,最佳實踐

剪枝教程

瞭解如何使用 torch.nn.utils.prune 來稀疏化您的神經網路，以及如何擴充套件它來實現您自己的自定義剪枝技術。

模型最佳化,最佳實踐

Inductor CPU 後端除錯和效能分析

學習 ``torch.compile`` 與 Inductor CPU 後端的使用、除錯和效能分析。

模型最佳化,Inductor

(Beta) 使用縮放點積注意力實現高效能 Transformer

本教程探討了新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它來構建 Transformer 元件。

模型最佳化,注意力,Transformer

卷積神經網路中的知識蒸餾

瞭解如何使用更強大的模型作為教師來提高輕量級模型的準確性。

模型最佳化,影像/影片

(Beta) PyTorch 中的 Channels Last 記憶體格式

概述 Channels Last 記憶體格式，並瞭解如何使用它來排序記憶體中的 NCHW 張量，同時保留維度。

記憶體格式,最佳實踐,前端 API

前向模式自動微分

瞭解如何使用前向模式自動微分。

前端 API

雅可比矩陣、Hessian 矩陣、hvp、vhp 等

瞭解如何使用 torch.func 計算高階自動微分量。

前端 API

模型整合

瞭解如何使用 torch.vmap 來整合模型。

前端 API

每個樣本的梯度

瞭解如何使用 torch.func 計算每個樣本的梯度。

前端 API

神經正切核

瞭解如何使用 torch.func 計算神經切線核。

前端 API

使用 PyTorch C++ 前端

透過一個端到端的 C++ 前端模型訓練示例，訓練一個 DCGAN（一種生成模型）來生成 MNIST 數字影像。

前端 API,C++

C++ 前端中的 Autograd

autograd 包有助於構建靈活且動態的神經網路。在本教程中，探索在 PyTorch C++ 前端進行 autograd 的幾個示例。

前端 API,C++